Több évtizeddel ezelőtt a tudósok csak álmodozhattak a nyelvi kutatás automatizálásáról. A munkát kézzel végezték, nagyszámú hallgató vett részt benne, jelentős volt a valószínűsége a "figyelmetlenség" hibának, és ami a legfontosabb, mindez sok-sok időt vett igénybe.
A számítástechnika fejlődésével sokkal gyorsabban lehetett kutatásokat végezni, és ma a nyelvtudomány egyik ígéretes területe a korpusznyelvészet. Fő jellemzője a nagy mennyiségű szöveges információ felhasználása, egyetlen adatbázisba tömörítve, speciális módon megjelölve és korpusznak nevezett.
Ma sok különböző célú, különböző nyelvi anyagok alapján készült korpusz létezik, amelyek milliótól több tízmilliárd lexikális egységet fednek le. Ez az irány ígéretesnek tekinthető, és jelentős előrelépést mutat az alkalmazott és kutatási célok elérésében. Szakemberek, így vagy úgy foglalkoznaktermészetes nyelv, javasoljuk, hogy legalább alapszinten ismerkedjen meg a szövegkorpusokkal.
A korpusznyelvészet története
Ennek az iránynak a kialakulása a múlt század 60-as éveinek elején az USA-ban létrejött Brown Corps létrejöttéhez kapcsolódik. A szöveggyűjtemény mindössze 1 millió szóalakból állt, ma már teljesen versenyképtelen lenne egy ilyen volumenű korpusz. Ez nagyrészt a számítástechnika fejlődési ütemének, valamint az új kutatási források iránti növekvő keresletnek köszönhető.
A 90-es években a korpusznyelvészet teljes értékű és önálló tudományággá formálódott, szöveggyűjteményeket állítottak össze és jelöltek meg több tucat nyelvre. Ebben az időszakban például a British National Corpust 100 millió szóhasználatra hozták létre.
A nyelvtudomány ezen irányának fejlődésével a szövegek mennyisége megnő (és több milliárd szókincsre is kiterjed), a jelölések pedig egyre változatosabbak. Ma az internetes térben megtalálhatók írott és szóbeli, többnyelvű és oktatási, szépirodalmi vagy tudományos irodalomra összpontosító korpuszok, valamint sok más változat is.
Milyen esetek vannak?
A korpusznyelvészetben a korpusztípusok többféleképpen is ábrázolhatók. Intuitív módon egyértelmű, hogy a besorolás alapja lehet a szövegek nyelve (orosz, német), a hozzáférés módja (nyílt forráskódú, zárt forráskódú, kereskedelmi), a forrásanyag műfaja (fikció)irodalom, dokumentumfilm, tudományos, újságírás).
Érdekes módon történik a szóbeli beszédet reprezentáló anyagok generálása. Mivel az ilyen beszéd szándékos rögzítése mesterséges feltételeket teremtene a megkérdezettek számára, és az így keletkezett anyag nem nevezhető "spontánnak", a modern korpusznyelvészet másfelé járt. Az önkéntes fel van szerelve mikrofonnal, és a nap folyamán minden beszélgetést rögzítenek, amelyben részt vesz. A környező emberek persze nem tudhatják, hogy egy mindennapi beszélgetés során hozzájárulnak a tudomány fejlődéséhez.
Később a fogadott hangfelvételeket az adatbankban tároljuk, és nyomtatott szöveg kíséri, mint egy átirat. Ily módon lehetővé válik a mindennapi beszélt beszéd korpuszának létrehozásához szükséges jelölés.
Alkalmazás
Ahol lehetőség van nyelvhasználatra, ott szövegkorpuszok is használhatók. A korpuszmódszerek nyelvészeti alkalmazásának célja lehet:
- A politikában és az üzleti életben széles körben használt hangulatprogramok készítése a szavazóktól és ügyfelektől érkező pozitív és negatív visszajelzések nyomon követésére.
- Az információs rendszer összekapcsolása szótárakkal és fordítókkal a teljesítményük javítása érdekében.
- Különböző kutatási feladatok, amelyek hozzájárulnak a nyelv szerkezetének, fejlődéstörténetének megértéséhez és a közeljövő változásának előrejelzéséhez.
- A morfológiai,szintaktikai, szemantikai és egyéb jellemzők.
- Különböző nyelvi rendszerek stb. munkájának optimalizálása
héjak használata
Az erőforrás-interfész hasonló egy tipikus keresőmotorhoz, és arra kéri a felhasználót, hogy írjon be valamilyen szót vagy szókombinációt az információs bázisban való kereséshez. A pontos igénylőlapon kívül használhatja a bővített változatot is, amely szinte bármilyen nyelvi szempont alapján lehetővé teszi a szöveges információk megtalálását.
A keresés alapja:
- beszédrészek egy bizonyos csoportjába tartozik;
- nyelvtani jellemzők;
- szemantika;
- stílusos és érzelmi színezés.
A keresési feltételeket is kombinálhatja egy szósorozatra: például keresse meg az ige minden előfordulását jelen időben, egyes szám első személyben, amelyet az „in” elöljárószó és egy főnév követ a tárgyszóban.. Egy ilyen egyszerű feladat megoldása néhány másodpercet vesz igénybe a felhasználónak, és mindössze néhány egérkattintással kell kitölteni a megadott mezőket.
Létrehozási folyamat
Maga a keresés végrehajtható mind az összes alkorpuszban, mind egyben, a konkrét cél eléréséhez szükséges igények függvényében:
- Először is meg kell határozni, hogy mely szövegek képezik a korpusz alapját. Gyakorlati célokra gyakran használnak újságírói, újságos anyagokat, internetes kommenteket. A kutatási projektekben a legtöbbkülönböző típusú korpuszokat, de a szövegeket valamilyen közös alapon kell kiválasztani.
- A kapott szövegkészletet előfeldolgozzuk, a hibákat, ha vannak, kijavítjuk, bibliográfiai és nyelven kívüli leírást készítünk a szövegről.
- Minden nem szöveges információ kiszűrésre kerül: a grafikák, képek, táblázatok törlődnek.
- A tokenek, általában szavak, további feldolgozásra vannak kiosztva.
- Végül az eredményül kapott elemhalmaz morfológiai, szintaktikai és egyéb jelölését hajtjuk végre.
Az összes végrehajtott művelet eredménye egy szintaktikai struktúra, amelyen egy sor elem van elosztva, amelyek mindegyikéhez meghatározásra kerülnek egy-egy beszédrész, nyelvtani és bizonyos esetekben szemantikai jellemzők.
Nehézségek az ügyek létrehozásában
Fontos megérteni, hogy egy korpusz megszerzéséhez nem elég sok szót vagy mondatot összerakni. Egyrészt egy szöveggyűjteménynek kiegyensúlyozottnak kell lennie, vagyis meghatározott arányban kell bemutatnia a különböző típusú szövegeket. Másrészt a tok tartalmát speciális módon kell megjelölni.
Az első kérdést megegyezéssel oldjuk meg: például a gyűjtemény 60%-ban szépirodalmi szövegeket, 20%-ban dokumentumfilmeket tartalmaz, bizonyos hányadot kap a szóbeli beszéd írásbeli bemutatása, jogalkotási aktusok, tudományos közlemények stb. Ma nem létezik ideális recept egy kiegyensúlyozott korpuszhoz.
A tartalomjelöléssel kapcsolatos második kérdést nehezebb megoldani. A szövegek automatikus jelölésére speciális programokat és algoritmusokat használnak, de ezek nem adnak 100%-os eredményt, hibákat okozhatnak és kézi finomítást igényelnek. A probléma megoldásának lehetőségeit és problémáit részletesen leírja V. P. Zakharov korpusznyelvészeti munkája.
A szövegjelölés több szinten történik, amelyeket alább felsorolunk.
Morfológiai jelölés
Az iskolapadból emlékezünk arra, hogy az orosz nyelvben különböző beszédrészek vannak, és mindegyiknek megvannak a maga sajátosságai. Például egy igének vannak olyan hangulati és időkategóriái, amelyek a főnévnek nincsenek. Az anyanyelvi beszélő habozás nélkül elutasítja a főneveket és ragozást végez, de a kétkezi munka nem alkalmas egy 100 millió szóhasználatból álló korpusz megjelölésére. Minden szükséges művelet elvégezhető számítógéppel, ehhez azonban meg kell tanítani.
A morfológiai jelölések szükségesek ahhoz, hogy a számítógép minden egyes szót a beszéd valamely részeként „értsen”, amely bizonyos nyelvtani jellemzőkkel rendelkezik. Mivel számos szabályos szabály működik orosz nyelven (mint bármely más) nyelven, lehetséges egy automatikus morfológiai elemzési eljárást felépíteni úgy, hogy számos algoritmust helyezünk a gépbe. Vannak azonban kivételek a szabály alól, valamint különféle bonyolító tényezők. Ennek eredményeként a tisztán számítógépes elemzés ma még messze nem ideális, és még a 4%-os hibák is 4 millió szó értéket adnak egy 100 millió egységnyi korpuszban, ami kézi finomítást igényel.
Ezt a problémát V. P. Zakharov „Corpus Linguistics” című könyve írja le részletesen.
Szintaktikai jelölés
A szintaktikai elemzés vagy elemzés egy olyan eljárás, amely meghatározza a szavak kapcsolatát egy mondatban. Egy algoritmuskészlet segítségével lehetővé válik a tárgy, az állítmány, a kiegészítések és a különféle beszédfordulatok meghatározása a szövegben. Ha kitaláljuk, hogy a sorozat mely szavai a fő és melyek a függőek, akkor hatékonyan kinyerhetünk információt a szövegből, és megtaníthatjuk a gépet, hogy csak a minket érdeklő információkat adjon vissza egy keresési kérésre.
Mellesleg, a modern keresőmotorok ezt használják arra, hogy konkrét számokat adjanak meg hosszadalmas szövegek helyett olyan releváns kérdésekre válaszolva, mint például: „mennyi kalória van egy almában” vagy „távolság Moszkvától Szentpétervárig”. Ahhoz azonban, hogy a leírt folyamat alapjait is megértse, meg kell ismerkednie a „Bevezetés a korpusznyelvészetbe” vagy egy másik alapvető tankönyvvel.
Szemantikai jelölés
Egy szó szemantikája leegyszerűsítve a jelentése. A szemantikai elemzésben széles körben alkalmazható megközelítés a címkék egy szóhoz való hozzárendelése, amely tükrözi annak szemantikai kategóriák és alkategóriák halmazához való tartozását. Az ilyen információk értékesek a szöveghangulatelemző algoritmusok optimalizálásához, az automatikus hivatkozásokhoz és egyéb feladatok elvégzéséhez korpusznyelvészeti módszerekkel.
A fának számos "gyökere" van, amelyek olyan elvont szavak, amelyeknagyon tág szemantika. Ahogy ez a fa elágazik, csomópontok jönnek létre, amelyek egyre konkrétabb lexikai elemeket tartalmaznak. Például a „lény” szó olyan fogalmakhoz köthető, mint az „ember” és az „állat”. Az első szó továbbra is különféle szakmákra, rokonsági feltételekre, nemzetiségre, a második pedig az állatok osztályaira és típusaira fog ágazni.
Információkereső rendszerek használata
A korpusznyelvészet felhasználási területei a tevékenységi területek széles skáláját fedik le. A Corpora szótárak összeállítására és javítására, automatikus fordítórendszerek létrehozására, összegzésre, tények kinyerésére, hangulat meghatározására és egyéb szövegfeldolgozásra szolgál.
Ezen túlmenően az ilyen forrásokat aktívan használják a világ nyelveinek és a nyelv egészének működési mechanizmusainak tanulmányozásában. A nagy mennyiségű előre elkészített információhoz való hozzáférés hozzájárul a nyelvfejlődési trendek gyors és átfogó tanulmányozásához, a neologizmusok és stabil beszédfordulatok kialakulásához, a lexikai egységek jelentésének változásaihoz stb.
Mivel az ilyen nagy mennyiségű adattal való munkavégzés automatizálást igényel, ma már szoros kölcsönhatás van a számítógép és a korpusznyelvészet között.
Orosz nyelv nemzeti korpusz
Ez a korpusz (rövidítve NKRC) számos alkorpuszt tartalmaz, amelyek lehetővé teszik az erőforrás felhasználását sokféle feladat megoldására.
Az NCRA adatbázisában található anyagok a következőkre oszlanak:
- a 90-es és 2000-es évek médiájában megjelent kiadványokrólév, belföldi és külföldi egyaránt;
- szóbeli beszéd felvételei;
- ékezetesen jelölt szövegek (azaz ékezetjelekkel);
- dialektus beszéd;
- költői művek;
- anyagok szintaktikai jelöléssel stb.
Az információs rendszer alkorpuszokat is tartalmaz művek párhuzamos fordításával oroszról angolra, németre, franciára és sok más nyelvre (és fordítva).
Ezenkívül az adatbázisban található egy történelmi szövegrész, amely az orosz nyelvű írott beszédet reprezentálja a fejlődés különböző időszakaiban. Van egy képzési korpusz is, amely hasznos lehet külföldi állampolgárok számára az orosz nyelv elsajátításában.
Az orosz nyelv nemzeti korpusza 400 millió lexikai egységet tartalmaz, és sok tekintetben megelőzi az európai nyelvek korpuszának jelentős részét.
Lehetőségek
A terület ígéretesnek való elismerése mellett szól a korpusznyelvészeti laboratóriumok jelenléte az orosz egyetemeken és a külföldi egyetemeken is. A figyelembe vett információ-visszakereső források felhasználásával, kutatásával a csúcstechnológiák, kérdés-felelet rendszerek területén egyes területek fejlesztése társul, de erről fentebb volt szó.
A korpusznyelvészet minden szinten további fejlődése várható, a műszakitól kezdve az információkeresési és -feldolgozási folyamatokat optimalizáló új algoritmusok bevezetése, a számítógépek képességeinek bővítése, az operatív működés növelése terén.memória, és befejezve a háztartásiakat, mivel a felhasználók egyre több módot találnak az ilyen típusú erőforrások mindennapi és munkahelyi felhasználására.
Befejezésül
A múlt század közepén 2017 távoli jövőnek tűnt, amelyben űrhajók szörföznek az Univerzum kiterjedésein, és robotok végeznek minden munkát az emberekért. A valóságban azonban a tudomány tele van "üres foltokkal", és kétségbeesett kísérleteket tesz arra, hogy megválaszolja azokat a kérdéseket, amelyek évszázadok óta nyugtalanítják az emberiséget. A nyelv működésének kérdései itt előkelő helyet foglalnak el, ezek megválaszolásában a korpusz és a számítógépes nyelvészet segíthet.
A nagy mennyiségű adat feldolgozása lehetővé teszi a korábban elérhetetlen minták észlelését, bizonyos nyelvi jellemzők fejlődésének előrejelzését, a szavak képződésének szinte valós időben történő nyomon követését.
Gyakorlatilag globális szinten a korpuszok például a közhangulat felmérésének potenciális eszközeként tekinthetők – az Internet egy folyamatosan frissülő adatbázis a különböző, valódi felhasználók által készített szövegekből: ezek kommentek, ismertetők, cikkek és sok más beszédforma.
Ezen túlmenően a korpuszokkal végzett munka hozzájárul ugyanazon technikai eszközök kifejlesztéséhez, amelyek az információkeresésben is szerepet játszanak, és amelyeket a Google vagy a Yandex szolgáltatásaiból, gépi fordításból, elektronikus szótárakból ismerünk.
Biztos kijelenthetjük, hogy a korpusznyelvészet csak az első lépéseket teszi, és a közeljövőben gyorsan fejlődni fog.