Naponta óriási adatcunami zúdul ránk. Adatbázisok és adattárházak mindenhol, gépitanulás-algoritmusok monumentális adatsorokon gyakorolnak, félve őrzött titkok után koslató adathalászok keserítik az életünket. A számítástudomány, azon belül főként a mesterségesintelligencia-kutatás soha nem volt annyira adatközpontú, mint ma, a big data korában.

Az adat értékét elsősorban a belőle kinyert tartalom, információvá, tényleges ismeretté történő értelmezése, az értelmezés lehetősége adja. A digitális információ keletkezésével, szerkezetével, elérésével, tárolásával, feldolgozásával és továbbításával, információs rendszerekkel foglalkozó, több diszciplínán átívelő tudományterület az információelmélet. Alapjait, az elektronikus hírtovábbítást kutatva, az 1940-es évek végén Claude Shannon, Norbert Wiener és Andrej Nyikolajevics Kolmogorov rakta le, egymástól függetlenül. Közülük Shannon (1916-2001) munkássága a legjelentősebb.

Shannon a kommunikációs rendszerek elemeit, a közöttük lévő kapcsolatokat vizsgálta. Noha munkája túlmutat a mérnöki tudományokon, elsődlegesen praktikus célokat szolgált, például azt, hogy a telefonvonalak kevésbé legyenek zajosak. Elmélete szerint, a tervező szemszögéből nézve, a kommunikáció jelentéstani vonatkozásai lényegtelenek, az üzenet statisztikai jellemzői, és nem a tartalma a meghatározó.

A kommunikáció szimbólumtovábbítás, eszközei a (beszéd előtti) jelek, a nyelv, az írás, míg az információ digitálisan kódolt szimbólumok. A legfőbb probléma, hogy egy adott ponton hibátlanul, vagy megközelítőleg hibátlanul reprodukáljunk egy másik pontról küldött üzenetet, ugyanakkor a tényleges üzenet csak egy a lehetségesek közül. A rendszert tehát úgy kell megtervezni, hogy ne kizárólag a kiválasztott, hanem a potenciális üzeneteket is kezelje.

A kommunikáció folyamata az üzenet jelképekbe (szavakba, ikonokba, bitekbe stb.) kódolása, továbbítása, dekódolása. Az üzenet információelméleti megfelelője a jel, mely a továbbítási csatornán keresztül jut el az üzenetet generáló forrástól a rendeltetési helyig.

Fontos tényező a csatorna sávszélessége, illetve zajtelítettsége. Az eredeti üzenetet megváltoztató zaj az információ ellentéte. A fogadó természetesen a hasznos információra, a jelre, és nem a haszontalan információként definiált zajra kíváncsi.

A csatorna kapacitását az határozza meg, hogy az információ, a lehető legkisebb hibaszázalékkal és a leggyorsabban jusson el a címzetthez. A tervezett és a valós kapacitás soha nem azonos, így az outputon kimenő és az inputon bemenő jel sem lehet az. Ha az lenne, a csatornát zajtalannak tekinthetnénk. A zaj csökkentéséért a jelet többször megismételhetjük, ezzel viszont nemcsak a hibalehetőség, hanem az információ tényleges továbbítási rátája is csökken. Hibakorrigáló kódokat szintén használhatunk: minél kisebb az óhajtott hibavalószínűség, annál összetettebb eszközöket kell tervezni.

Az információ fontos tulajdonsága, hogy előzetesen inkább csak becsülni lehet, és nem kiszámolni, mert újdonságértéket tartalmazó jelképekből áll. (Ha zavarmentes, akkor pontos a becslés, ha zavar áll be, akkor nem.) E jelképek közlése a kommunikáció lényege, a többi redundáns elem. Az információ a bizonytalansággal azonos, véletlenszerűsége az entrópiával írható le, amely lehetővé teszi, hogy egy csatorna mennyire alkalmas jeltovábbításra. 

A termodinamika második törvénye a világegyetemben állandóan növekvő rendezetlenségre, az entrópiára vonatkozik. Shannon, az entrópiát az információval azonosította, így a növekedése az információ növekedését eredményezi, azaz egy bitnyi információ továbbításához meghatározott mennyiségű energia szükséges.

A telefonokra és a számítógépekre kitalált információelméletet általában hírátviteli rendszerekben alkalmazzák.

Frissítve: 2023. december 18.