La entropía es la "medida del desorden" o la "peculiaridad de ciertas combinaciones". Puede ser considerada como una medida de la incertidumbre y de la información necesaria para poder reducir o eliminar esta incertidumbre.
El concepto básico de entropía en la Teoría de la Información tiene mucho que ver con la incertidumbre que existe en cualquier experimento o señal aleatoria. Es también la cantidad de "ruido" o "desorden" que contiene o libera un sistema. Por lo tanto, también está relacionada con la cantidad de información que lleva una señal.
Claude Shannon, en "A Mathematical Theory of Information" determinó que la cantidad de información (medida en bits) necesaria para codificar un dato era de log(1/p) donde p es la probabilidad de que aparezca ese dato y log es el logaritmo en base 2.
No hay comentarios:
Publicar un comentario