Teoría De La Información: Visión, Antecedentes, Usos y Aplicaciones

La teoría de la información estudia la cuantificación, el almacenamiento y la comunicación de la información. Originalmente fue propuesto por Claude E. Shannon en 1948 para encontrar límites fundamentales en el procesamiento de la señal y las operaciones de comunicación tales como la compresión de datos, en un documento histórico titulado “Una teoría matemática de la comunicación”.

teoría de la informaciónLas aplicaciones de los temas fundamentales incluyen compresión de datos sin pérdida (por ejemplo, archivos ZIP), compresión de datos con pérdida (por ejemplo MP3 y JPEG) y codificación de canal (por ejemplo, para línea de abonado digital (DSL)). Su impacto ha sido crucial para el éxito de las misiones Voyager al espacio profundo, la invención del disco compacto, la viabilidad de los teléfonos móviles, el desarrollo de Internet, el estudio de la lingüística y de la percepción humana, la comprensión de los agujeros negros, y muchos otros campos.

Una medida clave en la teoría  es la “entropía”. La entropía cuantifica la cantidad de incertidumbre involucrada en el valor de una variable aleatoria o el resultado de un proceso aleatorio. Por ejemplo, identificar el resultado de un lanzamiento de moneda (con dos resultados igualmente probables) proporciona menos información (entropía más baja) que especificar el resultado de una tirada de dado (con seis resultados igualmente probables). Algunas otras medidas importantes son la información mutua, la capacidad del canal, los exponentes de errores y la entropía relativa.

El campo se encuentra en la intersección de las matemáticas, las estadísticas, la informática, la física, la neurobiología y la ingeniería eléctrica. También ha encontrado aplicaciones en otras áreas, incluida la inferencia estadística, procesamiento del lenguaje natural, criptografía, neurobiología, visión humana, la evolución y la función de los códigos moleculares (bio-informática), selección del modelo en estadística, física térmica, computación cuántica, lingüística, detección de plagio,  reconocimiento de patrones y detección de anomalías.

Los sub-campos importantes incluyen la codificación de fuentes, la codificación de canales, la teoría de la complejidad algorítmica, la teoría de la información algorítmica, la seguridad teórica de la información y las medidas de información. Cuando hablamos de teoría de la información, podemos relacionarlo con los medios de comunicación, la comunicación, estudios de comunicación que van estrechamente relacionados con el ejercicio del periodismo. 

Visión de conjunto de la teoría de la información

teoría de la informaciónEstudia la transmisión, el procesamiento, la extracción y la utilización de la información. En abstracto, la información puede considerarse como la resolución de la incertidumbre. En el caso de la comunicación de información a través de un canal ruidoso, este concepto abstracto se concretó en 1948 por Claude Shannon en su artículo “Una teoría matemática de la comunicación”, en el que se considera que la “información” es un conjunto de mensajes posibles, donde el objetivo es enviar estos mensajes por un canal ruidoso, y luego hacer que el receptor reconstruya el mensaje con baja probabilidad de error, a pesar del ruido del canal.

El principal resultado de Shannon, el teorema de codificación de canales ruidosos, mostró que, en el límite de muchos usos de canales, la tasa de información que es asintóticamente alcanzable es igual a la capacidad del canal, una cantidad que depende meramente de las estadísticas del canal sobre el cual se transmiten los mensajes son enviados.

Está estrechamente relacionada con una colección de disciplinas puras y aplicadas que se han investigado y reducido a la práctica de la ingeniería bajo una variedad de rúbricas en todo el mundo durante el último medio siglo o más: sistemas adaptativos, sistemas anticipatorios, inteligencia artificial, sistemas complejos, ciencia de la complejidad, cibernética, informática, aprendizaje automático, junto con ciencias de sistemas de muchas descripciones. La teoría de la información es una teoría matemática amplia y profunda, con aplicaciones igualmente amplias y profundas, entre las que se encuentra el campo vital de la teoría de la codificación.

La teoría de la codificación se refiere a la búsqueda de métodos explícitos, llamados códigos, para aumentar la eficiencia y reducir la tasa de error de la comunicación de datos a través de canales ruidosos hasta cerca de la capacidad del canal. Estos códigos se pueden subdividir aproximadamente en técnicas de compresión de datos (codificación fuente) y corrección de errores (codificación de canales).

En el último caso, tomó muchos años encontrar los métodos que el trabajo de Shannon demostró que eran posibles. Una tercera clase de códigos de teoría de la información son algoritmos criptográficos (códigos y cifras). Los conceptos, métodos y resultados de la teoría de la codificación y la teoría de la información son ampliamente utilizados en criptografía y criptoanálisis.

También se utiliza en la recuperación de información, recopilación de inteligencia, juegos de azar, estadísticas e incluso en la composición musical.

Antecedentes históricos 

El evento histórico que estableció la disciplina de la teoría de la información y lo llamó la atención mundial inmediata fue la publicación del clásico de Claude E. Shannon “Una teoría matemática de la comunicación” en el Bell System Technical Journal en julio y octubre de 1948.

Antes de este documento, se habían desarrollado ideas limitadas en los Laboratorios Bell, todas asumiendo implícitamente eventos de igual probabilidad. El artículo de Harry Nyquist de 1924, Certain Factors Affecting Telegraph Speed, contiene una sección teórica que cuantifica la “inteligencia” y la “velocidad de línea” a la que puede transmitirse mediante un sistema de comunicación, dando la relación W = K log m (recordando la constante de Boltzmann). Donde W es la velocidad de transmisión de la inteligencia, m es el número de niveles de voltaje diferentes para elegir en cada paso de tiempo, y K es una constante.

El artículo de 1928 de Ralph Hartley, Transmisión of Information, usa la palabra información como una cantidad medible, que refleja la capacidad del receptor de distinguir una secuencia de símbolos de cualquier otra, cuantificando así la información como H = log Sn = n log S, donde S era el número de símbolos posibles, y n el número de símbolos en una transmisión. La unidad de información era, por lo tanto, el dígito decimal, que a veces se ha llamado Hartley en su honor como una unidad o escala o medida de información. Alan Turing en 1940 usó ideas similares como parte del análisis estadístico del desciframiento de los cifrados Enigma de la Segunda Guerra Mundial alemana.

Gran parte de las matemáticas detrás de la teoría de la información con eventos de diferentes probabilidades fueron desarrolladas para el campo de la termodinámica por Ludwig Boltzmann y J. Willard Gibbs. Las conexiones entre la entropía de la teoría de la información y la entropía termodinámica, incluidas las importantes contribuciones de Rolf Landauer en la década de 1960, se exploran en entropía en termodinámica y teoría de la información.

En el revolucionario e innovador artículo de Shannon, cuyo trabajo se había completado sustancialmente en los Laboratorios Bell a finales de 1944, Shannon introdujo por primera vez el modelo cualitativo y cuantitativo de comunicación como un proceso estadístico subyacente a la teoría de la información, abriendo con la afirmación de que

“El problema fundamental de la comunicación es la reproducción en un momento, ya sea exacto o aproximado, de un mensaje seleccionado en otro punto”.

Con esto vinieron las ideas de la entropía de información y la redundancia de una fuente, y su relevancia a través del teorema de codificación fuente; la información mutua y la capacidad del canal de un canal ruidoso, incluida la promesa de una comunicación perfecta sin pérdida dada por el teorema de codificación de canal ruidoso; el resultado práctico de la ley Shannon-Hartley para la capacidad del canal de un canal gaussiano; tanto como el bit: una nueva forma de ver la unidad de información más fundamental.

Cantidades de información

Se basa en la teoría de la probabilidad y las estadísticas. A menudo se ocupa de las medidas de información de las distribuciones asociadas con variables aleatorias. Importantes cantidades de información son entropía, una medida de información en una sola variable aleatoria e información mutua, una medida de información en común entre dos variables aleatorias.

La primera cantidad es una propiedad de la distribución de probabilidad de una variable aleatoria y da un límite en la velocidad a la que los datos generados por muestras independientes con la distribución dada se pueden comprimir de manera confiable. Este último es una propiedad de la distribución conjunta de dos variables aleatorias, y es la velocidad máxima de comunicación confiable a través de un canal ruidoso en el límite de longitudes de bloque largas, cuando las estadísticas del canal están determinadas por la distribución conjunta.

La elección de la base logarítmica en las siguientes fórmulas determina la unidad de entropía de información que se utiliza. Una unidad de información común es el bit, basado en el logaritmo binario. Otras unidades incluyen el nat, que se basa en el logaritmo natural, y el dígito decimal, que se basa en el logaritmo común.

Teoría de la información y su aplicación a otros campos

la informaciónUsos de inteligencia y aplicaciones secretas

Los conceptos teóricos de información se aplican a la criptografía y al criptoanálisis. La unidad de información de Turing, la prohibición, se usó en el proyecto Ultra, rompiendo el código máquina alemán Enigma y acelerando el final de la Segunda Guerra Mundial en Europa. El mismo Shannon definió un concepto importante que ahora se llama la distancia de unidad. Basado en la redundancia del texto plano, intenta dar una cantidad mínima de texto cifrado necesario para garantizar una descifrabilidad única.

La teoría de la información nos lleva a creer que es mucho más difícil guardar secretos de lo que podría parecer en un primer momento. Un ataque de fuerza bruta puede romper sistemas basados ​​en algoritmos de clave asimétrica o en los métodos más comúnmente utilizados de algoritmos de clave simétrica (a veces llamados algoritmos de clave secreta), como cifrados de bloque. La seguridad de todos estos métodos actualmente proviene de la suposición de que ningún ataque conocido puede romperlos en un período de tiempo práctico.

La seguridad teórica de la información se refiere a métodos como el bloc de una sola vez que no son vulnerables a tales ataques de fuerza bruta. En tales casos, la información mutua condicional positiva entre el texto sin formato y el texto cifrado (condicionado a la clave) puede garantizar una transmisión adecuada, mientras que la información mutua incondicional entre el texto sin formato y el texto cifrado permanece cero, lo que genera comunicaciones absolutamente seguras.

En otras palabras, un espía no podría mejorar su conjetura del texto sin formato al obtener conocimiento del texto cifrado pero no de la clave. Sin embargo, como en cualquier otro sistema criptográfico, se debe tener cuidado para aplicar correctamente incluso los métodos de seguridad teórica de la información; el proyecto Venona fue capaz de descifrar las antiguas almohadillas de la Unión Soviética debido a su inadecuada reutilización del material clave.

Exploración sísmica

Una de las primeras aplicaciones comerciales de la teoría de la información fue en el campo de la exploración petrolera sísmica. El trabajo en este campo permitió quitar y separar el ruido no deseado de la señal sísmica deseada. La teoría de la información y el procesamiento digital de la señal ofrecen una mejora importante de la resolución y la claridad de la imagen con respecto a los métodos analógicos anteriores.

Semiótica

Los conceptos de la teoría de la información como redundancia y control de código han sido utilizados por semióticos como Humberto Eco y Ferruccio Rossi-Landi para explicar la ideología como una forma de transmisión de mensajes mediante la cual una clase social dominante emite su mensaje usando signos que exhiben un alto grado de redundancia tal que solo un mensaje es decodificado entre una selección de competidores.

Aplicaciones diversas

La teoría de la información también tiene aplicaciones en el juego y la inversión, los agujeros negros y la bio-informática.

Referencias

Rieke; D. Warland; R Ruyter van Steveninck; W Bialek (1997). Spikes: Explorando el código neuronal. La prensa MIT. ISBN 978-0262681087.

 Delgado-Bonal, Alfonso; Martín-Torres, Javier (2016-11-03). “La visión humana está determinada en base a la teoría de la información”. Informes científicos. 6 (1). doi: 10.1038 / srep36038. ISSN 2045-2322.

 cf; Huelsenbeck, J. P .; Ronquist, F .; Nielsen, R .; Bollback, J. P. (2001). “Inferencia bayesiana de la filogenia y su impacto en la biología evolutiva”. Ciencia. 294 (5550): 2310-2314. Bibcode: 2001Sci … 294.2310H. doi: 10.1126 / science.1065889.

 Allikmets, Rando; Wasserman, Wyeth W .; Hutchinson, Amy; Smallwood, Philip; Nathans, Jeremy; Rogan, Peter K. (1998). “Thomas D. Schneider], Michael Dean (1998) Organización del gen ABCR: análisis de las secuencias de unión de promotor y empalme”. Gene. 215 (1): 111-122. doi: 10.1016 / s0378-1119 (98) 00269-8.

 Burnham, K. P. y Anderson D. R. (2002) Selección de modelos e inferencia multimodel: un enfoque práctico de información teórica, segunda edición (Springer Science, Nueva York) ISBN 978-0-387-95364-9.

Compartir es sinónimo de bondad. Sé bondadoso

TAMBIEN PODRIA GUSTARTE

Licda. En Comunicación Social, mención Comunicación y Desarrollo con 16 años en el ejercicio del periodismo, ahora Redactora Web Maracay- Venezuela

Deja un comentario