Cuantificación de la información

Shannon, ahondando en el enfoque tecnológico, cuantifica la información en función de su sorpresividad, que no es un concepto de humanidades sino que se refiere a la improbabilidad del mensaje recibido. Según esta teoría el dato de que esté lloviendo en un desierto, por ser improbable, contiene más información que el de que no está lloviendo, por ser más probable. Por tanto la cantidad de información debe ser inversamente proporcional a la probabilidad del suceso al que se alude.

La probabilidad, que normalmente cuantificamos de 0 a 100, en ciencia se cuantifica de 0 a 1. 0 significa imposible, mientras que 1 significa absolutamente cierto.

Además, la probabilidad de que coincidan dos sucesos, por ejemplo que llueva en el desierto y además que el mejor futbolista del mundo sepa inglés, es el producto de las probabilidades respectivas (p_ll,i = p_llp_i). Además la información contenida en un dato debe tender a infinito según disminuye su probabilidad (la probabilidad de que el presidente de EEUU sea un robot es muy baja, por tanto el que sea un robot da mucha información) y debe tender a 0 según su probabilidad se acerca a la certeza (que el presidente de EEUU sea un ser humano, lo cuál apenas da información). Pues bien, Shannon llegó a la conclusión correcta de que todas estas propiedades se cumplían si se definía la información como el negativo del logaritmo de la probabilidad de un suceso s:

I_s = - log(p_s)

En efecto, definida así la probabilidad cumple éstas propiedades deseables:

1. El logaritmo de 1 es cero, y el negativo de cero es cero también, lo que se corresponde con que la información de que ha ocurrido algo que era seguro que fuera a ocurrir es nula.

2. El logaritmo de un número positivo muy pequeño es un número negativo muy grande, lo que se corresponde con que la información de un suceso sea tanto mayor cuanto más sorprendente sea.

3. La información de que hayan ocurrido dos o más sucesos, un suceso compuesto, es la suma de la información de cada uno por separado, y sin embargo la probabilidad de que hayan ocurrido a la vez es el producto de sus probabilidades: I(s_1,2) = - log(p₁p₂) = -[log(p₁) + log(p₂)] = I(s₁) + I(s₁) + ...