甘利俊一「情報理論」

情報理論 (ちくま学芸文庫)

難しかったので第1章で挫折した。けど情報量、エントロピーについて読みやすい語り口で書かれている。