Elégedben nem egyszer találkoztál ezzel a fogalommal, ha szövegekkel kellett dolgoznod. Különösen online számológépekhez fordulhat, amelyek pontosan elvégzik a szöveg gyakorisági elemzését. Ezek a praktikus eszközök megmutatják, hogy egy adott karakter vagy betű hányszor fordul elő egy szövegrészletben. Gyakran százalék is megjelenik. Miért van erre szükség? Hogyan járul hozzá a szöveg frekvenciaelemzése az egyszerű rejtjelek "feltöréséhez"? Mi a lényege, ki találta ki? Ezekre és a témával kapcsolatos további fontos kérdésekre a cikk során választ adunk.
Definíció
A frekvenciaelemzés a kriptoanalízis egyik változata. A tudósok azon feltételezésein alapul, hogy létezik az egyes karakterek és szabályos szekvenciáik statisztikai, nem triviális eloszlása mind egyszerű, mind titkosított szövegben.
Úgy véljük, hogy az ilyen elosztás az egyes karakterek cseréjéig a titkosítási/visszafejtési folyamatok során is megmarad.
Folyamatjellemzők
Most vessünk egy pillantást a frekvenciaelemzésre egyszerű kifejezésekkel. Ez azt jelenti, hogy a megfelelő hosszúságú szövegekben az azonos alfabetikus karakter előfordulásának száma azonos az ugyanazon a nyelven írt szövegekben.
És most mi a helyzet az egyalfabetikus titkosítással? Feltételezzük, hogy ha van olyan karakter a rejtjelezett szövegrészben, amelynek előfordulási valószínűsége ilyen hasonló, akkor reális azt feltételezni, hogy ez a titkosított betű.
A gyakorisági szövegelemzés követői ugyanazt az érvelést alkalmazzák a digramokra (két betűből álló sorozatok). Trigramok – ez a már többalfabetikus titkosításokra vonatkozik.
A módszer története
A szavak gyakorisági elemzése nem a modernitás lelete. A 9. század óta ismeri a tudományos világ. Létrehozása az Al-Kindi nevéhez fűződik.
A frekvenciaelemzés módszerének ismert alkalmazási esetei azonban sokkal későbbi időszakhoz tartoznak. A legszembetűnőbb példa erre az egyiptomi hieroglifák megfejtése, amelyet 1822-ben készített J.-F. Champollion.
Ha a szépirodalom felé fordulunk, sok érdekes utalást találhatunk erre a visszafejtési módszerre:
- Conan Doyle – "The Dancing Men".
- Jules Verne – "Grant kapitány gyermekei".
- Edgar Poe – "Gold Bug".
A múlt század közepe óta azonban a legtöbb titkosítási algoritmust úgy fejlesztették ki, hogy figyelembe vették az ilyen frekvencia-kriptoanalízissel szembeni ellenállásukat. Ezért aztmanapság leggyakrabban csak leendő kriptográfusok képzésére használják.
Alapmódszer
Most mutatjuk be részletesen a frekvenciaválasz elemzését. Ez a fajta elemzés közvetlenül azon a tényen alapul, hogy a teszt szavakból, azok pedig betűkből áll. A nemzeti ábécét kitöltő betűk száma korlátozott. A betűket egyszerűen fel lehet sorolni ide.
Egy ilyen szöveg legfontosabb jellemzői a betűk, különböző nagyok, trigramok és n-gramok ismétlődése, valamint a különböző betűk egymással való kompatibilitása, a mássalhangzók/magánhangzók váltakozása és egyéb ezeknek a szimbólumoknak a változatai.
A módszerek fő gondolata az, hogy megszámolják a lehetséges n-grammok előfordulását (nm-rel jelölve) a nemzeti ábécé betűiből álló (T=t1t2…tl jelölésű) egyszerű szövegekben, amelyek elég hosszúak az elemzéshez. jelölése {a1, a2, …, an}). A fentiek mindegyike a szöveg néhány m-grammát eredményezi:
t1t2…tm, t2t3… tm+1, …, ti-m+1tl-m+2…tl.
Ha ez az m-gram ai1ai2…cél előfordulások száma egy bizonyos T szövegben, és L a kutató által elemzett m-gramok teljes száma, akkor empirikusan megállapítható, hogy kellően nagy L, egy ilyen m-gram frekvenciája alig tér el egymástól.
Az orosz ábécé gyakran előforduló betűi
De az idő-frekvencia elemzésnek a hasonló név ellenére semmi köze beszélgetésünk témájához. Ezt a fajta elemzést azért végezzükjelek az alacsonyan megfigyelhető radarállomásokról egy speciális wavelet transzformáció segítségével.
Most pedig térjünk vissza a fő témához. A gyakoriságelemzés során megtudhatja, hogy az orosz ábécé mely betűi találhatók leggyakrabban meglehetősen terjedelmes szövegekben (0,062 és 0,018 közötti százalék):
- A.
- V.
- D.
- F.
- I.
- K.
- M.
- O.
- R.
- T.
- F.
- T.
- Sh.
- b.
- E.
- I.
Még egy speciális mnemonikai szabályt is bevezettek, amely segít megtanulni az orosz ábécé leggyakoribb betűit. Ehhez elég csak egy szót megjegyezni - "szénapadlás".
Általános esetekben a betűk százalékos használatának gyakoriságát egyszerűen beállítjuk: a szakember megszámolja, hogy a betű hányszor fordul elő a szövegben, majd a kapott értéket elosztja a szövegben szereplő karakterek teljes számával. És hogy ezt az értéket százalékban fejezzük ki, elég megszorozni 100-zal.
Fontos figyelembe venni, hogy a gyakoriság nem csak a szöveg mennyiségétől, hanem jellegétől is függ. Például a műszaki forrásokban az "F" betű sokkal gyakrabban jelenik meg, mint a szépirodalomban. Ezért az objektív eredmények érdekében a szakembernek különféle jellegű és stílusú szövegeket kell begépelnie a kutatáshoz.
Bi-, tri-, négygramm
Az értelmes szövegekben a leggyakoribb (illetve a legtöbbismétlődő) két vagy több betű kombinációja. A szakemberek több táblázatot is összeállítottak, amelyek a különböző ábécék hasonló digramjainak gyakoriságát jelzik.
Ami az oroszt illeti, a terjedelmes, értelmes szövegek rendszereinek gyakorisági elemzése lehetővé tette a legelterjedtebb bigramok és trigramok megállapítását:
- EN.
- ST.
- DE.
- NEM.
- BE.
- RA.
- OV.
- KO.
- VO.
- STO.
- ÚJ
- ENO.
- TOV.
- OVA.
- OVO.
A betűk preferált kapcsolatai egymáshoz
És ez nem minden lehetőség, amit a frekvenciaelemzés nyújthat a szövegkutatóknak. A hasonló bigram- és trigramtáblázatokból származó információk rendszerezésével lehetőség nyílik a leggyakoribb betűkombinációkra vonatkozó adatok kinyerésére. Vagy más szóval a preferált kapcsolataik egymással.
Szakértők már végeztek ilyen kiterjedt tanulmányt. Eredménye egy táblázat volt, ahol az ábécé minden betűjével együtt a szomszédai is feltüntetésre kerültek. Sőt, azok a karakterek, amelyek gyakran közvetlenül előtte és utána is megtalálhatók. A táblázat betűi nem véletlenül vannak kiírva. A szimbólumhoz közelebb a leggyakrabban előforduló szomszédok jelennek meg, tovább - a ritkábbak.
Vegyünk példákat:
- „A” betű. Itt a következő előnyben részesített kapcsolatokat különböztetjük meg: l-d-k-t-v-r-n-A-l-n-s-t-r-v-to-m. Innen látjuk, hogy a szövegekben az "A" előtt leggyakrabban "H" ("NA") szerepel. És az "A" után az orosz nyelvű szövegekben leggyakrabban "L"-vel találkozhatunk("AL").
- "M" betű. A szakértők a következő előnyben részesített kapcsolatokat azonosították: "I-s-a-i-e-o-M-i-e-o-u-a-n-p-s".
- B betű. Az előnyben részesített kapcsolatok a következők: "n-s-t-l-b-n-k-v-p-s-e-o-i".
- „Sh” betű. Preferált kapcsolatok: "e-b-a-i-u-Sch-e-i-a".
- "P" betű. Előnyben részesített kapcsolatok az orosz ábécé ezzel a szimbólumával: "v-s-u-a-i-e-o-P-o-r-e-a-u-i-l".
Mi határozza meg az elemzést?
A modern gyakori szövegelemző programok segítenek tanulmányozni a cikkek, esszék, szövegrészek és így tovább nagy mennyiségben. A következő információkat adjuk a kutatónak standard módon:
- A szöveg teljes karakterszáma.
- A szerző által használt szóközök száma.
- Számjegyek száma.
- Információ a használt írásjelekről – pont, vessző stb.
- A betűk száma az egyes elérhető ábécékben – cirill, latin stb.
- Információ az egyes betűk és szimbólumok használatának gyakoriságáról a szövegben – az említések száma és százalékos aránya a teljes szöveghez képest.
Küzdj a túloptimalizálás és a túltelítettség ellen
Miért végzik el a szöveges gyakoriság elemzését? Csak a kíváncsiság kedvéért – hogy megállapítsuk, az írott szöveg mely szereplőivel találkozunk gyakran? Nem, az elemzés fő alkalmazása praktikus, és máshol van.
Az N-gramok nem csak a stabil biggramokat és trigramokat foglalják magukban. Ugyanarrakategóriák közé tartoznak a kulcsszavak (címkék), a kollokációk. Vagyis két vagy több szóból álló stabil kombinációk. Megkülönböztetik őket az a tény, hogy az ilyen kompozíciók együtt fordulnak elő a szövegben, és ugyanakkor bizonyos szemantikai terhelést hordoznak.
Ez a gátlástalan SEO-szakemberek kezére játszik. Munkájuk során időnként visszaélnek a címkék és kulcsszavak ismétlésével a szövegben, hogy mesterségesen növeljék egy adott weboldal relevanciáját. Egy ilyen "trükkel" próbálják megtéveszteni a rendszert: az orosz nyelvben hagyományosan szokásos szókombinációt ("vásárolj nyérckabátot") következetlenné alakítanak át. Vagyis a szavak ilyen természetes N-grammban történő átrendezésével ("vegyél nyércbundát") nyerjük.
De ma már a keresési algoritmusok megtanulták a túloptimalizálást ugyanolyan hatékonyan észlelni, mint a túllevélszemetet – a szöveg túltelítettségét kulcsszavakkal, címkékkel, amelyek befolyásolják a találatok rangsorolását a keresőoldalon. A túloptimalizált oldalak most éppen ellenkezőleg, a felhasználó lekérdezései alapján lejjebb helyezkednek el. És maguk az emberek nem szoktak értelmetlen, címkékkel túltelített szöveget olvasni, és előnyben részesítik a hasznos információkat egy másik forrásról.
Segítség a magánelemzéshez SEO-szakértőknek
Így a modern keresőmotorok szövegszűrői manapság azokat az internetes oldalakat részesítik előnyben, amelyeken található információk nemcsak könnyen olvashatók, de hasznosak is a látogatók számára. Optimalizálni munkájukat az új szabványok, SEO szakemberekés lapozzon a szöveg gyakorisági elemzésére. Ma számos népszerű szolgáltatás nyújtja ezt.
A gyakoriságelemzés segít áttekinteni a publikálásra készülő szöveget informatív jelleggel. Szüntesse meg a címkék és kulcskifejezések felesleges redundanciáját. Lehetővé teszi továbbá, hogy felhívja a szerző figyelmét a szavak természetellenes kombinációira, amelyek gyanút keltenek a keresőmotorok szövegszűrőiben.
A szöveg gyakorisági elemzése így segít meghatározni egy adott karakter forrásban való említésének gyakoriságát. A módszert manapság a címkékkel és a szavak természetellenes permutációival való szöveges túlterhelés felmérésére használják.
