Status For Hfst-stavekontrollane
Stavekontrollar og fst-ar
av Sjur Moshagen
Tromsø, 10. september 2014
Status for hfst-stavekontrollane
skisse over korleis dei er bygd opp
- normativ fst -> vekting -> akseptor
- akseptor-alfabet -> ( redigeringsavstand 1 + bokstavsekvensar ) * 2 + ord
- blir pakka inn i LO-voikko
Alt er Hfst (og Voikko), alt er open kjeldekode.
Normeringa fylgjer offisiell rettskriving, så langt som ho er definert. Viktig
Problem som no er løyst
- vekting + minimering
- hyperminimering + fart
- integreringa med LibreOffice (Windows har enno ikkje fått dei siste rettingane)
Resultat:
Atterhald:
- språkkoden for språket må finnast i både LO og LO-voikko
- det er ikkje alle kombinasjonar av vekting, minimering og hyperminimering som
Potensiale for forbetringar av stavekontrollane
- Ideal: den korrekte rettinga skal vera det fyrste og einaste forslaget.
- Ikkje mogleg i praksis, men det er det vi strevar mot
Eg held PLX og Hunspell utanfor - vi har ikkje dei same verktya for å påverka
Frekvensvekta leksikon
- hovudideen er sjølvsagt at meir frekvente ord skal koma høgare opp på
- implementert for finsk
- rammeverket er på plass, men er ikkje gjort tilgjengeleg for andre språk
- mange språk manglar korpus, men dette er sjølvsagt ikkje noko argument mot å
- mange språk manglar korpus, men dette er sjølvsagt ikkje noko argument mot å
Morfologivekta leksikon
- samansette ord bør få høgare vekt enn ikkjesamansette ord (samansett i teknisk
- vi har leksikalisert ein stor del av dei samansette orda vi har funne
- vekting av dynamisk samansette ord gjer at nye ord (usette ord) ikkje kjem
- vi har leksikalisert ein stor del av dei samansette orda vi har funne
- derivasjonar - same logikk som med samansette ord
- vekting av morfologi - bøyingsformsfrekvens eller manuell vekting?
- dersom to ulike ordformer ellers er like, bør den mest frekvente bli
- dersom to ulike ordformer ellers er like, bør den mest frekvente bli
Utfordring
Vi treng ei systematisk bruk av vektar, slik at ikkje vekting på eitt område
Feilmodell
- redigeringsavstand
- fonotaksbasert
- sekvensbasert
- heile ord ("typos")
Redigeringsavstand
Dette er ein svært enkel modell, men er grunnmodellen som alle språk får
Fonotaksbasert
Jf. Lene sin presentasjon. Ingen ting er gjort her enno.
Det burde vera relativt enkelt å laga ein fonotaksbasert feilmodell, i og med at
Sekvensbasert
Døme: ll -> ljj
Dette er ein enklare modell utan kontekst, som er laga etter modell av det vi
Heile ord ("typos")
-
jih -> jïh
- Dette er ein juksekategori, som dekkjer over svakheiter i resten av feilmodellen
- samtidig er han nyttig for brukarane — dersom vi veit at eit heilt ord er feil
Målsetjing
Vi vil bli betre enn engelsk!