Az információs entrópia fogalma magában foglalja egy érték valószínűségi tömegfüggvényének negatív logaritmusát. Így, ha az adatforrás értéke kisebb valószínűséggel (vagyis amikor egy kis valószínűségű esemény következik be), az esemény több "információt" ("meglepetést") hordoz, mint amikor a forrásadatnak nagyobb valószínűséggel van értéke..
Az így meghatározott események által közvetített információ mennyisége egy valószínűségi változóvá válik, amelynek várható értéke az információs entrópia. Az entrópia általában rendezetlenséget vagy bizonytalanságot jelent, és az információelméletben használt definíciója közvetlenül analóg a statisztikai termodinamikában használtal. Az IE fogalmát Claude Shannon vezette be 1948-ban "A kommunikáció matematikai elmélete" című tanulmányában. Innen származik a "Shannon információs entrópiája" kifejezés.
Definíció és rendszer
Az adatátviteli rendszer alapmodellje három elemből áll: egy adatforrásból, egy kommunikációs csatornából és egy vevőből,és ahogy Shannon fogalmaz, az "alapvető kommunikációs probléma" az, hogy a vevő a csatornán keresztül kapott jel alapján képes azonosítani, milyen adatokat generált a forrás. Az entrópia abszolút korlátot biztosít a tömörített forrásadatok lehető legrövidebb átlagos veszteségmentes kódolási hosszára vonatkozóan. Ha a forrás entrópiája kisebb, mint a kommunikációs csatorna sávszélessége, az általa generált adatok megbízhatóan továbbíthatók a vevő felé (legalábbis elméletben, talán figyelmen kívül hagyva néhány gyakorlati megfontolást, például az adatok továbbításához szükséges rendszer bonyolultságát és mennyi időbe telik az adatok továbbítása).
Az információs entrópiát általában bitekben (más néven "shannon"-nak) vagy néha "természetes egységekben" (nats) vagy tizedesjegyekben mérik ("dits", "bans" vagy "hartleys"). A mértékegység az entrópia meghatározásához használt logaritmus alapjától függ.
Tulajdonságok és logaritmus
A log valószínűségi eloszlás hasznos az entrópia mértékeként, mert additív a független forrásokhoz. Például egy érme tisztességes tétjének entrópiája 1 bit, míg az m-térfogatok entrópiája m bit. Egy egyszerű ábrázolásban log2(n) bitre van szükség egy olyan változó reprezentálásához, amely felveheti az n érték egyikét, ha n 2 hatványa. Ha ezek az értékek egyformán valószínűek, az entrópia (bitekben) egyenlő azzal a számmal. Ha az egyik érték valószínűbb, mint a többi, a megfigyelés, hogy azjelentése előfordul, kevésbé informatív, mintha valamilyen kevésbé általános eredmény születne. Ezzel szemben a ritkább események további nyomon követési információkat szolgáltatnak.
Mivel a kevésbé valószínű események megfigyelése ritkább, nincs semmi közös abban, hogy az egyenlőtlen eloszlású adatokból nyert entrópia (átlagos információnak tekinthető) mindig kisebb vagy egyenlő log2(n)-nél. Az entrópia nulla, ha egy eredményt definiálunk.
Shannon információs entrópiája számszerűsíti ezeket a megfontolásokat, ha ismert az alapul szolgáló adatok valószínűségi eloszlása. A megfigyelt események jelentése (az üzenetek jelentése) irreleváns az entrópia definíciójában. Ez utóbbi csak egy adott esemény látásának valószínűségét veszi figyelembe, így az általa felfogott információ a lehetőségek mögöttes eloszlásáról szól, nem maguknak az eseményeknek a jelentéséről. Az információs entrópia tulajdonságai ugyanazok maradnak, mint fentebb leírtuk.
Információelmélet
Az információelmélet alapgondolata, hogy minél többet tud egy témáról, annál kevesebb információt kaphat róla. Ha egy esemény nagyon valószínű, akkor nem meglepő, amikor bekövetkezik, és ezért kevés új információval szolgál. Ezzel szemben, ha az esemény valószínűtlen volt, sokkal informatívabb volt, hogy az esemény megtörtént. Ezért a hasznos teher az esemény inverz valószínűségének (1 / p) növekvő függvénye.
Most, ha több esemény történik, entrópiaazt az átlagos információtartalmat méri, amelyre számíthat, ha valamelyik esemény bekövetkezik. Ez azt jelenti, hogy a kocka dobása nagyobb entrópiával rendelkezik, mint egy érme feldobása, mivel minden kristály kimenetele kisebb valószínűséggel jár, mint minden érme kimenetele.
Jellemzők
Így az entrópia egy állapot kiszámíthatatlanságának vagy – ami ugyanaz – átlagos információtartalmának mértéke. E kifejezések intuitív megértéséhez vegye figyelembe egy politikai közvélemény-kutatás példáját. Az ilyen szavazások általában azért történnek, mert például a választások eredményei még nem ismertek.
Azaz a felmérés eredményei viszonylag kiszámíthatatlanok, sőt, annak lebonyolítása és az adatok vizsgálata új információkkal szolgál; ezek csak különböző módok annak állítására, hogy a közvélemény-kutatási eredmények előzetes entrópiája nagy.
Most fontolja meg azt az esetet, amikor ugyanaz a szavazás másodszor is megtörténik röviddel az első után. Mivel az első felmérés eredménye már ismert, a második felmérés eredménye jól megjósolható, és az eredmények nem tartalmazhatnak sok új információt; ebben az esetben a második szavazás eredményének a priori entrópiája kicsi az elsőhöz képest.
Érmefeldobás
Most nézzük meg az érme feldobásának példáját. Feltételezve, hogy a farok valószínűsége megegyezik a fejek valószínűségével, az érmefeldobás entrópiája nagyon magas, mivel ez egy sajátos példája egy rendszer információs entrópiájának.
Ez azért van, merthogy lehetetlen megjósolni, hogy egy érme kimenetele idő előtt feldobásra kerül: ha választanunk kell, akkor a legjobb, ha megjósoljuk, hogy az érme a farkán fog landolni, és ez a jóslat a következő valószínűséggel igaz lesz. 1 / 2. Egy ilyen érmefeldobásnak egy bites entrópiája van, mivel két lehetséges kimenetel van, amely egyenlő valószínűséggel történik, és a tényleges eredmény tanulmányozása egy bit információt tartalmaz.
Éppen ellenkezőleg, egy érme feldobásának mindkét oldala farokkal és fej nélkül nulla az entrópiája, mivel az érme mindig ezen a jelen fog landolni, és az eredmény tökéletesen megjósolható.
Következtetés
Ha a tömörítési séma veszteségmentes, ami azt jelenti, hogy a teljes eredeti üzenetet mindig visszaállíthatja kibontással, akkor a tömörített üzenet ugyanannyi információt tartalmaz, mint az eredeti, de kevesebb karakterrel továbbítják. Azaz több információval vagy nagyobb entrópiával rendelkezik karakterenként. Ez azt jelenti, hogy a tömörített üzenetnek kevesebb a redundanciája.
Nagyon szólva, Shannon forráskód-kódolási tétele kimondja, hogy a veszteségmentes tömörítési séma nem csökkentheti az üzeneteket átlagosan úgy, hogy üzenetbitenként egy bitnél több információ legyen, de bitenként egy bitnél kevesebb információ elérhető. üzeneteket a megfelelő kódolási séma használatával. Az üzenet bitekben és hosszában kifejezett entrópiája annak mértéke, hogy mennyi általános információt tartalmaz.
