Informacji teoria

Informacji teoria, zajmuje się problemami przesyłania, zapisywania i wydobywania informacji. Informacją nazywamy wszystkie te wiadomości, które można wykorzystać do bardziej sprawnej realizacji celowego zadania. Mogą nią być liczby, wykresy, wyniki pomiarów, obrazy. Informacja wiąże się w istotny sposób z celowym działaniem; stąd też wynika względność informacji. Np. szum pochodzący z silnika stanowi informację dla pilota, którego celem jest doprowadzenie samolotu do lotniska, ale jednocześnie jest tylko hałasem przeszkadzającym w rozmowie pasażerom samolotu. Źródło informacji charakteryzuje przede wszystkim zbiór postaci, jakie informacja podawana przez nie może przyjmować. Jeśli zbiór ten składa się z dwu elementów (np. tak, nie) informację nazywamy binarną; jeśli ze skończonej liczby elementów (np. zbiór cyfr czy liter) — ziarnistą (dyskretną): jeśli informacja może przyjmować postaci dowolnie mało się od siebie różniące (np. wysokość słupka rtęci w termometrze), nazywana jest ciągłą. Informacja jest na ogół wprowadzona w pewien nośnik, zwany sygnałem nośnym. W określonych przypadkach dokonuje się to w sposób celowy. Przykładem takiego sygnału nośnego jest wypełniona ankieta z celowo dobranym zestawem pytań; innym często stosowanym w technice przykładem celowego wytwarzania sygnału nośnego jest kodowanie, polegające na tym, że informacji ziarnistej przyporządkowujemy sygnał mający postać ciągu sygnałów elementarnych, np. przyporządkowanie literom ciągów kropek i kresek, zgodnie z kodem Morse’a. Często nie mamy możliwości wprowadzania informacji do sygnału w sposób celowy i wykorzystujemy spontanicznie działające prawa przyrody; tak jest w większości systemów biernej obserwacji (pomiarów). W większości przypadków odtwarzając informację nie dysponujemy bezpośrednio sygnałem nośnym, ale obserwacją, która powstaje w wyniku oddziaływania na sygnał nośny wielu czynników ubocznych. Dzieje się tak np. przy przesyłaniu informacji na odległość, gdy sygnał nośny ulega w kanale informacyjnym zniekształceniom. Ponieważ czynniki uboczne oddziałujące na obserwację trzeba traktować jako przypadkowe, wydobywanie informacji z obserwacji ma charakter decyzji statystycznej. Wobec tego, że informacja ma służyć realizacji pewnego celowego zadania, reguła podejmowania decyzji o informacji powinna być podporządkowana kryteriom, wg których oceniamy jakość realizacji tego zadania. Dążymy do tego, aby optymalizować, w sensie takiego kryterium, regułę wydobywania informacji. W przypadku gdy możemy zmieniać regułę wprowadzania informacji do sygnału, również dążymy do jej optymalizacji. Jest rzeczą oczywistą, że im więcej mamy informacji pierwotnych o źródle informacji czy kanale informacyjnym, tym lepsze będą optymalizowane reguły.