Теория информации оперирует событиями окружающей человека действительности на таком уровне абстракции, на котором физическая сторона явлений становится несущественной. Все происходящее представляет интерес только в том смысле, в котором позволяет получить новые сведения об изучаемом предмете - информацию. Общность подобного рода может быть достигнута, если в основу описания наблюдаемых явлений положить понятие источника сообщений (ИС). Источник сообщений можно представить в виде некого устройства, которое устанавливает взаимосвязь между физической сущностью объекта наблюдения и его информационными характеристиками. На вход источника сообщений может поступать произвольная физическая величина W, характеризующая объект наблюдения, а на его выходе формируется последовательность состояний принадлежащих некоторому множеству X. Параметры носителя, изменяемые во времени в соответствии с передаваемым сообщением, называют информативными.