Enformasyon Teorisi (Bilgi Kuramı) 1940 ‘lı yıllarda telekomünikasyona bağlı problemlerin çözümü sırasında ortaya çıkmıştır. Bilgi kuramının amacı bilginin elde edilmesi, aktarılması, işlenmesi ve saklanmasına ilişkin kuralları incelemektir. Bilginin aktarılması sürecindeki rasgelelik olgusu bu süreçlerin incelenmesinde istatistik yöntemlerin kullanılmasını kaçınılmaz kılmaktadır