Korpus bosanskih tekstova na Univerzitetu u Oslu

[The Oslo Corpus of Bosnian Texts]     

1. Sadrzzaj korpusa
2. Tipovi upita koji su dostupni
3. Kako dobiti odobrenje za korisstenje korpusa
4. Kako dobiti i kreirati ispravnu vrstu slova
5. Tehniccke informacije
   • IMS Corpus Workbench
   • Struktura korpusa
   • Informacije o interfejsu za pretrazzivanje
6. Hiljadu najfrekventnijih rijecci i oblika
7. Dostupne publikacije o korpusu
8. Verzija
9. Ostalo
10. Kako nas mozzete kontaktirati

[Pretrazivanje korpusa] [Poccetna strana Laboratorije za obradu tekstova]      

Sadrzzaj korpusa

Sastavljanje korpusa je nadgledala docent Janne Bondi Johannessen, a profesor Svein Mønnesland je bio zaduzzen za odabir i kompilaciju tekstova. Gordana Vranich i Kemila Bassich su se potrudile da tekstovi budu elektronski dostupni (skeniranjem i adaptacijom) u obliku tekst fajli. Diana Santos je izgradila korpus zasnovan na tim fajlama u odgovarajuchem formatu (visse podataka o tome mozzete proccitati u nastavku), te napisala Web interfejs.

Vlasnici autorskih prava su ljubazno dali odobrenje za korisstenje njihovih tekstova u ovom korpusu. Tekstovi preuzeti iz knjiga ne obuhvataju visse od tri ccetvrtine te knjige. Izvor tekstova i njihov obim detaljno su precizirani u sadrzzaju (vidi stranicu "Sadrzzaj").

Tipovi upita koji su dostupni

Iako planiramo da ponudimo jednostavniji oblik postavljanja upita koji bi bio potpuno zasnovan na meniju, trenutno se gotovo potpuno oslanjamo na CQP query sintaksu (vidi Corpus Query Processor razvijen u Stuttgartu). CQP omoguchava da se na kompaktan naccin izraze priliccno kompleksni izbori, upotrebljavajuchi pri tom redovne izraze. Kratak opis query sintakse mozze se nachi, zajedno sa primjerima za druge jezike, na adresi http://www.ims.uni-stuttgart.de/projekte/tc/CQPSyntax.html.

Primjeri bosanskih upita su:

• "sebi" Svi primjeri rijecci sebi. Slijedite ovu vezu.
• "kak.*" Sve rijecci koje poccinju slovima kak. Slijedite ovu vezu.
• ".*ovati" Sve rijecci koje zavrssavaju nizom ovati (=infinitivi, na pr. kritikovati). Slijedite ovu vezu.
• ".*t" "ch.*" Svi nizovi koji se sastoje od dvije susjedne rijecci kod kojih prva zavrssava na t a druga poccinje sa ch (=puni oblik buducheg vremena, na pr. vidjet chess). Slijedite ovu vezu.
• "da" []{0,7} "se" Rijecc da iza koje slijedi se koje mozze biti odvojeno od da sa najvisse sedam rijecci. Slijedite ovu vezu.
• "u" []* "u" []* "u" within p Paragrafi koji u sebi sadrzze bar tri primjera rijecci u.
  Ovo se joss ne mozze primijeniti, possto korpus nije organizovan u paragrafe, t.j. ne postoji strukturalni atribut pod imenom p.
  Slijedite ovu vezu kako bi vidjeli prikaz na ekranu koji ne ukljuccuje restrikciju within.
• Potpunija lista primjera.

• [word="kak.*" & ori="PU.*"] Rijecci koje poccinju slovima kak u novinama ili ccasopisima (Kodovi koji poccinju sa PU). Slijedite ovu vezu da vidite sluccajan izbor 20 rijecci.
• [word=".*t" & ori=".*94"] []* "ch.*" Nizovi rijecci (koje ne moraju biti susjedne) gdje se prva rijecc zavrssava na t a druga poccinje sa ch u djelima koja su objavljena 1994. godine. Slijedite ovu vezu da vidite sluccajan izbor 10 nizova.

Kako dobiti odobrenje za korisstenje korpusa

1. IME,
2. ADRESU,
3. INSTITUCIJU,
4. predlozzeno KORISNICCKO IME za korpus,
5. predlozzena SSIFRA za korisstenje korpusa (koja se razlikuje od Vasse standardne ssifre),
6. IZJAVU 1 ("Obechavam da chu koristiti Oslo korpus bosanskih tekstova jedino za akademske, nekomercijalne svrhe"),
7. IZJAVU 2 ("Obechavam da nechu otkriti svoju ssifru (password) nekoj drugoj osobi ili instituciji").
8. IZJAVU 3 ("U svim materijalima (objavljenim ili neobjavljenim) za cciju je pripremu korissten korpus, naznaccichu na odgovarajuchi naccin ime korpusa i u referencama navesti njegovu Internet adresu."

Kako vidjeti i kreirati ispravnu vrstu slova

• slijediti uputstva da ih poboljssate,
• ili odabrati all-ASCII display u upitu

Bosanski	Oktalni kodovi	Alongacije	Latin 1
	\306	Ch	Æ
	\346	ch	æ
	\310	CC	È
	\350	cc	è
	\320	Djj	Ð
	\360	djj	ð
	D\256	Dz	D®
	d\276	dz	d¾
	\251	SS	©
	\271	ss	¹
	\256	ZZ, Zh	®
	\276	zz, zh	¾

Evo i nekoliko primjera:

• "stra\271no", "\276ivim", "\271aljivd\276ija"
• stra¹no, ¾ivim ¹aljivd¾ija
• strassno, zzivim, ssaljivdzija

1. ako zzelite da u inputu imate oktalne kodove, rijecci moraju biti u navodnim znacima.
2. da bi enkodiranje slova uccinili nedvosmislenim, promijenili smo standardnu notaciju u Djj i djj. Ovo se ne odnosi na pokazivanje rezultata, koje je prema standardu. Drugim rijeccima, trazzite Djje u vassem upitu, ali chete vidjeti Dje ako ste odabrali all-ASCII naccin.
3. ccak i ako unesete ta slova kao niz slova, bosanska slova se smatraju kao jedno slovo, osim slova , koje se smatra kao D d iza kojeg slijedi . S obzirom da u CQP sintaksi "." predstavlja jedno, bilo koje slovo, to znacci da che na pr. stra.no biti jednako kao strassno, dok .amijskih neche biti jednako kao dzamijskih.

Tehniccke informacije

IMS Corpus Workbench

Izrazzavamo zahvalnost za odobrenje da koristimo CQP u svrhe istrazzivanja.

Oni koji poznaju CQP query sintaksu mogu koristiti (gotovo) sav njen potencijal. Odredjjena ograniccenja su opisana u nastavku.

Struktura korpusa i enkodiranje

Korpus je enkodiran u ISO-8859-2 setu slova. Uputstva o tome kako da prilagodite svoj browser za neke od najuobiccajenijih platformi mogu se proccitati ovdje.

Possto se ne mozze occekivati da che svaki korisnik imati pristup browseru koji omoguchava ispravan prikaz na ekranu ISO-8859-2 enkodiranih dokumenata, all-ASCII display opcija je dostupna u postavljanju upita, ssto omoguchava standardni prikaz specificcnih slova u formi dva slova, kao ssto je opisano gore.

Korpus je kreiran skeniranjem knjiga i drugog sstampanog materijala koristechi uredjjaj za opticcko prepoznavanje slova (OCR); u rijetkim sluccajevima, dijelovi korpusa su vech bili u elektronskom formatu. Nekoliko redaktorskih korekcija je uvrssteno:

• Neke occigledne sstamparske gresske koje su uoccene prilikom kreiranja korpusa su ispravljene.
• Izbacceni su oni dijelovi koji nisu tekstualni, kao fotografije, crtezzi, tabele, i sadrzzaji.
• U nekim sluccajevima fragmenti teksta su izbacceni (citati na engleskom ili ruskom jeziku, reference, sportski rezultati, i td.). Kad god su takvi fragmenti uocceni unutar teksta, njihovo izbacivanje je oznacceno sa "/.../" u korpusu, kako bi se izbjegla nekoherentnost teksta.
• Na mjestima gdje je znaccajan dio teksta bio pisan velikim slovima zbog stilskih razloga, promijenili smo to u mala slova, zadrzzavajuchi velika slova samo na poccetku reccenice i kod imena.
• Isto je uccinjeno u sluccajevima gdje su rijecci pisane velikim slovima da bi se uveli novi pojmovi ili osobe u djeccijoj knjizzevnosti.
• Informacije o autorima novinskih cclanaka, mjestu i vremenu, ime novinske agencije, uredniccki komentari kao "Nastaviche se" i sliccni, te nazivi pojedinih novinskih rubrika, su izbrisani.
• Informacija o vrsti slova, kao masna slova, kurziv i sl.,nije ukljuccena, izuzev u sluccajevima kada su autori upotrijebili razmak unutar rijecci, kao na pr. o v d j e, da bi ih istakli. Da bi se ovo promijenilo, bilo bi potrebno redigovati sve fajle, pa smo odluccili samo da upozorimo korisnike, bar u ovoj verziji korpusa.

Molimo vas da nas izvjestite o svakom takvom problemu, kao i o opsstim problemima, sugestijama za poboljssanje, itd., na nassu adresu.

Korisnici sistema moraju obratiti pazznju na sljedeche:

• Korpus je podijeljen samo na tekstove, ali se podjela na paragrafe i reccenice mozze occekivati u kasnijoj verziji.
• Korpus je anotiran, za svaku rijecc, jedinstvenim identifikatorom koji upuchuje na izvor. Tag se zove ori unutar CQP.
  Nadamo se da chemo kasnije biti u stanju pokazati, za svaki redak konkordance, identifikaciju njegovog izvora. Trenutno imamo jedino moguchnost da ograniccimo upit zasnovan na identifikaciji njegovog izvora.
• Velika i mala slova su zasebno enkodirana.
• Znaci interpunkcije su enkodirani kao zasebni simboli, tako da se mogu trazziti, na primjer, rijecci iza kojih slijedi zarez.
• Da bi napravili razliku izmedjju navodnih znakova koji stoje na poccetku i na kraju, za ssto ne postoji zasebno enkodiranje u ISO-8859-2, oni su interno enkodirani kao bq, odnosno eq. Ovo omoguchuje korisniku da trazzi bq. Medjjutim, u outputu che biti prikazani kao standardni dupli navodni znaci. Isto vazzi za jednostruke navodnike, koji su enkodirani kao bsq i esq.

Informacije o interfejsu za pretrazzivanje

• da postavite upit u CQP stilu
• da odaberete da li che output biti prikazan kao Latin 2 ili Lower ASCII
• da odabereta koliki che kontekst biti prikazan u konkordanci
• da napravite sluccajan izbor odgovarajuchih oblika (0 znacci da neche biti primjera)
• da odaberete vrstu outputa koji se trazzi (konkordanca, distribucija oblika, distribucija izvora, konkordanca plus distribucija).

Ako je nadjjen jedan ili visse oblika, a trazzila se konkordanca, biche prikazan broj primjera koji su pronadjjeni, kao i broj primjera koji che se mochi vidjeti na ekranu. Iza toga che slijediti nadjjeni primjeri sa istaknutim oblikom koji se trazzio. Ako je trazzena distribucija, output che biti u jednostavnom tabelarnom formatu, prema opadajuchem redu frekvencije.

U nekim sluccajevima, upozorenje ili ponuda pomochi che biti upucheni. Na ovaj naccin se zzeli ponuditi pomoch svima koji prvi put koriste sistem. Na primjer,

• Ne trazzite distribuciju oblika kada je nadjjen samo jedan oblik kao rezultat upita
• Ne koristite * umjesto .* (a* znacci nekoliko 'a', a ne 'a' iza kojeg slijedi nessto drugo: za to morate napisati a.*)
• Ne trazzite nessto within X kada X nije vazzechi strukturalni atribut
• Ne koristite razmak unutar oblika. Ako zelite trazziti dvije rijecci, morate ih staviti u navodne znake.

Ograniccenja

• Ne mozze se trazziti kontekst koji bi bio duzzi od 500 slova. Bez obzira koliki broj unesete, maksimalna duzzina konteksta koji chete vidjeti biche 500 slova.
• Ne mozze se pretrazzivati nizove koji su duzzi od 2 paragrafa. Tako ccak i ako zahtijevate pretrazzivanje u okviru 3 p, program che to promijeniti u okviru 2 p.
  Ovo se ne mozze primijeniti possto korpus joss nije strukturiran u paragrafe.
• Ne mozze se pretrazzivati u nizovima duzzim od 200 rijecci (od poccetka izraza koji pretrazzujete do njegovog kraja). To znacci da ccak i ako zahtijevate pretrazzivanje u okviru 2500 rijecci, program che to promijeniti u okviru 200 rijecci.

Poredjjenje sa direktnim korisstenjem CQP-a

• upotreba podkorpusa
• pokazivanje vecheg konteksta

Medjjutim, identifikacija izvora uz svaki primjer je unapredjjenje u poredjjenju sa CQP i Xkwic programima.

Planirana poboljssanja

• moguchnost sortiranja konkordanci prema nekoliko razliccitih kriterija (sada se one pokazuju na ekranu prema redosljedu u korpusu, ili nasumiccno)
• moguchnost da rezultati upita ne ovise od toga da li je u upitu korissteno malo ili veliko slovo
• moguchnost da se dobije ukrsstena distribucija, t.j. da oblici budu rasporedjjeni prema njihovom izvoru
• moguchnost da se dobije relativna distribucija, umjesto apsolutne, i to odmjerena prema koliccini teksta u razliccitim tipovima teksta.

Dostupne publikacije o korpusu

Leko 98a

Leko, Nedzad. Compiling word frequency lists: problems of homonymy. Ms. University of Sarajevo and University of Oslo.

Leko 98b

Leko, Nedzad. Some lexical doublets in the Oslo Corpus of Bosnian Tex ts: A comparison with a previous study of doublets. Ms. University of Sarajevo and University of Oslo.

Leko 98c

Leko, Nedzad. Some problems in compiling a frequency dictionary from the Oslo Corpus of Bosnian Texts.Ms. University of Sarajevo and University of Oslo.

Leko 98d

Leko, Nedzad. Polarity Items in Bosnian. Ms. University of Sarajevo and University of Oslo.

Leko 98e

Leko, Nedzad. Recent changes in the Bosnian language as reflected by and documente d from the Oslo Corpus of Bosnian Texts. Ms. University of Sarajevo and University of Oslo.

Santos 98

Santos, Diana. Providing access to language resources through the World Wide Web: the Oslo Corpus of Bosnian Texts. Proceedings of The First International Conference on Language Resources and Evaluation (Granada, 28-30 May 1998), rtf

Obavijestite nas o novim publikacijama radjjenim uz korisstenje korpusa, kako bi ih eventualno uccinili dostupnim na ovoj stranici.

Verzija

Ostalo

Nedzad Leko je bio prvi korisnik nasseg korpusa i zahvalni smo mu zbog pomochi i sugestija, kao i zbog ustupanja radova radjjenih uz korisstenje korpusa, ukljuccujuchi i prvu listu hiljadu najfrekventnijih rijecci i oblika.

Kako nas mozzete kontaktirati

Svein Mønnesland
Institute for Central European and Oriental Studies,
University of Oslo,
Postboks 1030
Blindern, N-0315 Oslo
Norway

+47-2285 6702

+47-2285 4140

Kontaktirajte Laboratoriju za obradu tekstova na adresi tekstlab@ilf.uio.no ako je vassa poruka na engleskom. Za detaljnije informacije mozzete pogledati kontaktnu stranicu Laboratorije za obradu tekstova.