信息，指音讯、消息、通讯系统传输和处理的对象，泛指人类社会传播的一切内容。人通过获得、识别自然界和社会的不同信息来区别不同事物，得以认识和改造世界。在一切通讯和控制系统中，信息是一种普遍联系的形式。1948年，数学家香农在题为“通讯的数学理论”的论文中指出：“信息是用来消除随机不定性的东西”。创建一切宇宙万物的最基本单位是信息。

信息的特点是什么?别担心，信息虽然是不确定的，但还是有办法将它们进行量化的。人们根据信息的概念，可以归纳出信息是有以下的几个特点的：

1. 消息发生的概率P(x)越大，信息量越小;反之，发生的概率越小，信息量就越大。可见，信息量(我们用I来表示)和消息发生的概率是相反的关系。

2. 当概率为1时，百分百发生的事，地球人都知道，所以信息量为0。

3. 当一个消息是由多个独立的小消息组成时，那么这个消息所含信息量应等于各小消息所含信息量的和。

根据这几个特点，如果用数学上对数函数来表示，就正好可以表示信息量和消息发生的概率之间的关系式：I=-loga(P(x))。这样，信息不就可以被量化了吗?既然信息可以被量化，那么总得给它一个单位吧?人的体重是以公斤来计量的，人的身高是以米来计量的，那么信息量该以什么单位来计量呢?通常是以比特(bit)为单位来计量信息量的，这样比较方便，因为一个二进制波形的信息量恰好等于1bit。