121031

• Status quo
• Forslag til bedring av pick-parallel:
• Oslo-Bergen-tagger
• Ukjente ord

• overføringsratio 73-110, skal dette økes? Nei, men den bør forbedres, se nedenfor
• legge inn i metafilen: info om antall ord (word count) også i wrong ratio filene : lettere å skaffe oversikt over hvilke dokument som er store nok til at de bør sjekkes manuelt

Dette er gjort:

New Revision: 64705

Modified:
   trunk/gt/script/langTools/Converter.pm
Log:
Insert wordcount

- må forbedredes: bindestrekene har Ciprian tatt bort, må meldes til Oslo-Bergen

Tiltak

• Sjekke skilnaden mellom nob_morf-prestat.cg3 og nob_morf.cg3 (Cip)
• Køyre sum-cg.pl på output, evt. samanlikne med onlineversjon (Trond)
• Melde frå til Oslo + diskutere (Trond)

Vi har brukt nob_morf-prestat.cg3. Bør vi bruke nob_morf.cg3?

cat data.nob | tr '\n' '£' | sed 's/£/ £ ™/g' | tr '™' '\n' | \
    ~/main/st/nob/obt/bin/mtag-osx64 | \
    vislcg3 -g ~/main/st/nob/obt/src/nob_morf-prestat.cg3 > data.tagged.shitty.nob

cat data.nob | tr '\n' '£' | sed 's/£/ £ ™/g' | tr '™' '\n' | \
    ~/main/st/nob/obt/bin/mtag-osx64 | \
    vislcg3 -g ~/main/st/nob/obt/src/nob_morf.cg3 > data.tagged.shitty.nob    

Hva skal gjøres med store filer med minimale feil i setningsparallelliseringen? feks HP_2009_samisk_sprak_norsk.pdf og HP_2009_samisk_sprak_nordsam.pdf

I disse store pdf-dokumentene (over 60 sider) er det løpende tekst som blir brutt av flere små info-vinduer med tekst. Problemet er at de ikke kommer på samme plass i samisk og norsk dokument, selv om det er samme tekst. Dette medfører at setningsparallelliseringen blir feil. Dette kan rettes manuelt i prestable før filene flyttes til stable. Dette kan ikke rettes automatisk.

Dette kan rette på følgende måter:

• gullkorpus med gullstandard (ekte gull), filen må merkes at er sjekket manuelt
• forskjellige typer gullkorpus i forskjellig format i forskjellige stadier i løpet av pipeline, feks gullkorpus i orig, gullkorpus rett etter konvertering, gullkorpus etter setningsalignment,
• informasjon om forandringene må dokumenteres

Det vi kan lage her er skygge-originalar: Delar av dokumentet som i dag er i ulik rekkjefølgje vil vi manuelt omarrangere, og lagre som nye originalar.

Alle aktuelt++ og aigeguovdil++ fra regjeringen.no er ikke parallelle fordi dette er oversikt over pressemeldinger og ikke alle pressemeldinger blir oversatt til samisk

Spørsmål: Er det ingen spelrelax for allcapitalized strings?

original input string: BEARRÁIGEAHČČANLÁVDEGOTTI       BEARRÁIGEAHČČANLÁVDEGOTTI       +?

echo "bearráigeahččanlávdegotti" | lookup -q -flags mbTT $GTHOME/gt/sme/bin/sme.fst
bearráigeahččanlávdegotti	bearráigeahččanlávdegoddi+Org+N+Sg+Gen
bearráigeahččanlávdegotti	bearráigeahččanlávdegoddi+Org+N+Sg+Acc

Svar: Jo det finst, men:

Svaret på det ligg i allcaps.regex. Dette scriptet er ikkje i bruk, fordi resultatet er ein svært langsom automat (jf. B&K for dokumentasjon).

Mange symboler i unknown lista skal filteres bort, det samme skal gjøres med Wikipedia info

Word count skal bare være nummer og ord, ikke slash og slike ting.

~ $ usme
0%>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>100%
márjá
márjá	márjá	+?

oslo
oslo	oslo	+?

Márjá
Márjá	Márjá+N+Prop+Fem+Sg+Attr
Márjá	Márjá+N+Prop+Fem+Sg+Nom

Oslo
Oslo	Oslo+N+Prop+Plc+Sg+Nom
Oslo	Oslo+N+Prop+Plc+Sg+Gen
Oslo	Oslo+N+Prop+Plc+Sg+Acc

deatnu
deatnu	deatnu+Plc+N+Sg+Nom
deatnu	deatnut+V+TV+Ind+Prs+Sg3

Deatnu
Deatnu	Deatnu+N+Prop+Plc+Sg+Nom
Deatnu	deatnu+Plc+N+Sg+Nom
Deatnu	deatnut+V+TV+Ind+Prs+Sg3

Mánná
Mánná	mánná+Hum+N+Sg+Nom
Mánná	mannat+V+TV+Ind+Prs+Sg3

Kandidat til kommando for å finne ekte ukjente samiske ord:

cat unknown_sme_20121028.txt |sed 's/^ *//g;'|cut -d"bt/bin/mtag-osx64 |grep '" ukjent'|cut -d"\"" -f2|ueng|grep -v '[.+@]'|grep -v '^$' > tull

TODO

Ciprian:

• Sjekke ny wordcount pipeline
• Konvertere alt på nytt
• Implementere html-format når wrong ratio skal sjekkes
• Ny unknown-liste
• Analysere med engelsk analysator - fjerne engelske ord fra unknown liste
• analysere hele nob-wikipedia på nytt med OBT og uten punktuasjon

BM & Marja:

• Sjekke ratio etter implementering av word counter
• sjekke unknown word i sme, legge til i kildefiler
• sjekke siste word alignment fra ap-pipeline - for å bli vant med formatet
• Teste ut forskjellige typer forbedringer av input data til setningsparallelliseringen, feks er det mulig å legge inn info i xsl-fil om hvilke sider skal fjernes automatisk fra originalfila, er det mulig å redigere xml-fil manuelt slik at filene blir identiske.

cat unknown_sme_without_nob_20121028.txt |~/main/st/nob/obt/bin/mtag-osx64 |grep '" ukjent'|cut -d"\"" -f2|ueng|grep '+?' |cut -f1

cat ukj|grep -v '[0-9-]'|usme|grep '?'|cut -f1|rev|sort|rev|see

Tysdag 6.11. kl. 10.00, også med Sjur og Børre (sjekke om tidspunkt passar)