Claude Shannon y la teor�a matem�tica de la informaci�

Texto de Visto y Le�do (2en05)

El siguiente texto es una (regular) traducci�n del art�culo original en ingl�s (marzo 2001), al que sin duda aconsejo acudir para una mejor comprensi�n del mismo, escrito por Keith Devlin (Decano de Ciencias del Saint Mary's College de California, Investigador Senior en la Universidad Stanford) en su columna mensual de la web de la Mathematical Association of America (MAA), Devlin's Angle.

Autor: Keith Devlin
Fuente: MAA Online, marzo 2001
Url documento: castellano / ingl�s

El matem�tico Claude Shannon muri� el S�bado 22 de Febrero [de 2001], a los 84 a�os de edad, luego de una larga lucha contra el mal de Alzheimer. Pero su legado intelectual perdurar� mientras la gente se comunique usando el tel�fono y el fax, la Internet, o simplemente hablando de "informaci�n" como un recurso que puede ser medido en "bits" y enviado de lugar en lugar. Sigue a�n vigente el enfoque de la informaci�n y la comunicaci�n que Shannon estableci� en su revolucionario trabajo "A Mathematical Theory of Communication" (Una Teor�a Matem�tica de la Comunicaci�n) publicado en el Bell System Technical Journal (Revista T�cnica de Sistemas Bell) en 1948, y vuelto a publicar virtualmente exacto en el panfleto "The Mathematical Theory of Communication" (La Teor�a Matem�tica de la Comunicaci�n), que escribi� junto a Warren Weaver el a�o siguiente (publicado por la Universidad de Illinois). (Observe el cambio de art�culo -"La" por "Una"- de la versi�n Shannon-Weaver).

Shannon naci� en Michigan en 1916. Luego de obtener t�tulos en Matem�ticas e Ingenier�a en la Universidad de Michigan, ingreso al MIT (Massachussets Institute of Technology) para continuar estudios de postgrado en Matem�ticas. Aqu� hizo contacto con muchos de los hombres que estaban creando las bases para revoluci�n de la informaci�n que explotar�a a finales de la Segunda Guerra Mundial, en especial, con el matem�tico Norbert Wiener (quien m�s adelante acu�ar�a el t�rmino "cibern�tica" para parte del trabajo que el mismo, Shannon y otros en el MIT y otras partes), y Vannevar Bush [1] [2], el decano de Ingenier�a en el MIT (cuya m�quina conceptual "Memex" prefigur� la moderna World Wide Web y entre cuyos logros subsecuentes se incluye el establecimiento de la "National Science Fundation" -Fundaci�n Nacional de la Ciencia-).

A principios de los a�os 30, Bush hab�a construido en el MIT una computadora mec�nica, anal�gica llamada el "Analizador Diferencial", dise�ada para resolver ecuaciones que eran demasiado complejas para las m�quinas (mec�nicas) de la �poca. Aquel gran amasijo de ruedas, diales, engranajes y mecanismos, ocupaba varios cientos de pies de espacio f�sico, y era puesta en movimiento por motores el�ctricos. Preparar el artilugio para trabajar en un determinado problema requer�a una configuraci�n f�sica de la m�quina, y pod�a tomar dos o tres d�as. Luego de que la m�quina completaba el ciclo que constitu�a "resolver" la ecuaci�n, la respuesta era le�da midiendo el cambio de posici�n de varios componentes.

Siempre animoso, Shannon comenz� a trabajar con el Analizador con gran entusiasmo. A sugerencia de Bush, llev� a cabo, para su tesis de Maestr�a, un an�lisis matem�tico de la operaci�n de los circuitos de rel�s de la m�quina. En 1938, public� los resultados de sus estudios en Transactions of the American Institute of Electrical Engineers (Transacciones de el Instituto Americano de Ingenieros El�ctricos), bajo el t�tulo "A Symbolic Analysis of Relay and Switching Circuits" (Un an�lisis simb�lico de circuitos de suicheo y de rel�s").

La aparentemente mundana motivaci�n de Bush detr�s del trabajo que sugiri� a Shannon era la necesidad de la industria telef�nica de un marco matem�tico te�rico en el cual describir el comportamiento de los crecientemente complejos circuitos de suicheo autom�tico que estaban comenzando a reemplazar a los operadores humanos. Lo que Shannon logr� trascendi� con mucho ese fin. El art�culo de diez p�ginas que public� en Transactions of the AIEE ha sido descrito como uno de los trabajos de ingenier�a m�s importantes que se hayan escrito. Y con mucha raz�n: en dos platos, estableci� la escena para la electr�nica digital.

Shannon comenz� notando que, aunque el analizador trabajaba en forma anal�gica, su comportamiento en cualquier instante, estaba gobernado por la posici�n de los suiches de rel�s, y estos siempre estaban en una de dos posiciones: abiertos o cerrados ("on" u "off"). Esto le hizo recordar el trabajo del l�gico del s. XIX George Boole [1] [2] [3], cuyo an�lisis matem�tico de las "leyes del pensamiento" fue llevado a cabo usando un �lgebra en donde las variables tienen s�lo los valores "de verdad" T � F (True or False, 1 � 0). De all� s�lo hab�a un simple -pero de gran importancia- paso para pensar en usar circuitos de rel�s para construir una "m�quina l�gica" digital, que pudiera llevar a efecto no solo c�lculos num�ricos, sino otros tipos de "procesamiento de informaci�n".

En 1940, Shannon obtuvo su doctorado en Matem�ticas, y fue al Instituto de Estudios Avanzados de Princeton donde trabaj� con Hermann Weyl como un "National Research Fellow". El a�o siguiente, acept� una posici�n en Laboratorios de la Bell Telephone en New Jersey, donde se reuni� con un grupo de investigaci�n que estaba tratando de desarrollar formas m�s eficientes de transmitir la informaci�n y de aumentar la confiabilidad de las l�neas telef�nicas y telegr�ficas de larga distancia.

En los a�os 50, Shannon se interes� en la idea de la "inteligencia de m�quinas", y fue uno de los promotores -junto a sus alumnos, que pronto ser�an famosos John McCarthy y Marvin Minsky [1] [2]- de la hoy en d�a legendaria conferencia de 1956 en el Dartmouth College en New Hampshire, donde se considera que naci� la Inteligencia Artificial (o AI) como se conoci� m�s tarde. Pero mientras que otros (McCarthy y Minsky entre ellos) estar�an siempre asociados a la AI, el nombre de Shannon ser�a siempre asociado con la teor�a de la informaci�n y la comunicaci�n que el mundo conoci� a trav�s del panfleto de Shannon y Weaver.

Antes del trabajo de Shannon, el trabajo de los matem�ticos e ingenieros que trabajaban en la tecnolog�a de las comunicaciones, era el de hallar formas en las cuales pod�a mantenerse la integridad de las se�ales anal�gicas que viajaban en un cable, como una corriente el�ctrica fluctuante, o a trav�s del aire como una onda de radio modulada. Shannon tom� un enfoque muy diferente. El vio la "informaci�n" codificada completamente de manera digital, como una serie de 0's y 1's -a los cuales se refer�a como "bits" (por "d�gitos binarios")-, siguiendo as� una sugerencia de su colega de Princeton John Tuckey. Adem�s de proveer a los ingenieros de comunicaciones con una metodolog�a diferente de dise�o de circuitos de transmisi�n, este cambio de enfoque tambi�n condujo al concepto de "informaci�n" como un producto objetivo, desincorporado de "remitentes" o "receptores" humanos. Despu�s de Shannon, la cuesti�n de importancia era: �En que forma se puede enviar, de la mejor manera, una secuencia de pulsos el�ctricos o electromagn�ticos de un punto a otro?

Una consecuencia particular de este nuevo enfoque, como el mismo Shannon observ� r�pidamente, era que mientras a�n una peque�a variaci�n en una se�al anal�gica distorsiona -y puede, concebiblemente, corromper- la informaci�n transportada por esa se�al, la naturaleza si-no/on-off de la se�al digital significa que la informaci�n transportada digitalmente es mucho menos propensa a corromperse; realmente, a�adiendo algunos bits extra a la se�al, la detecci�n y correcci�n autom�tica pueden ser construidas en el sistema. (Una caracter�stica de la codificaci�n digital que, d�cadas m�s tarde, permitir�a que los usuarios de Napster.com "bajar" archivos de m�sica sobre l�neas telef�nicas y escuchar los �ltimos "hits" de la m�sica popular en sus PC con una fidelidad limitada solo por la calidad de los componentes de sonido de la PC, y que se ejemplifica a�n m�s con el desaf�o de los fabricantes de discos compactos (CDs) de que Ud. pude abrir un hueco de un cent�metro en su CD favorito y aun as� escuchar su m�sica perfectamente).

Desde un punto de vista matem�tico, arguiblemente [sic] el aspecto m�s significativo de la nueva concepci�n digital de Shannon acerca de lo que es la informaci�n --decir exactamente cuanta informaci�n lleva una se�al particular. La medida es sencilla: simplemente se cuenta el m�nimo n�mero de bits que hacen falta para codificar la informaci�n. Para hacer esto, se debe mostrar como puede arribar un �tem dado de informaci�n dando las respuestas a una secuencia de preguntas si/no.

Por ejemplo, supongamos que 8 colegas aplican para una promoci�n: Albert, Bob, Carlo, David, Enid, Fannie, Geogina e Hilary. Luego que el jefe ha decidido la persona para el cargo, �Cu�l es el m�nimo n�mero de preguntas si/no que se deben hacer para descubrir su identidad?. Un poco de reflexi�n indican que la respuesta es 3. Luego, el contenido de informaci�n del mensaje que anuncia quien obtuvo el cargo tiene 3 bits. He aqu� una forma de arribar a este resultado:

Primera pregunta: �El sexo de la persona es masculino?

Esto recorta el n�mero de posibilidades de 8 a 4.

Segunda pregunta: �El nombre de la persona termina en vocal?

Esto reduce el campo a tan solo dos personas.

Tercera pregunta: �Es la persona, la m�s alta de las dos?

Aqu� ya tiene uno su respuesta. Por supuesto este conjunto particular de preguntas asume que ning�n par de aplicantes [sic] al final tiene la misma estatura. M�s a�n, se escogieron cuidadosamente los nombres y sexos para tener cuatro mujeres y cuatro hombres, con nombres cuidadosamente escogidos. Pero el principio trabaja con cualquier ejemplo. Lo que se necesita es un marco en el cual una serie de preguntas de si � no (u otra decisi�n binaria) divida por la mitad repetidamente el n�mero de posibilidades, hasta que solo quede una posibilidad. (Si el n�mero de posibilidades al inicio no fuera una potencia de 2, habr� una peque�a redundancia en la secuencia de decisiones, pero a�n as� se tendr� una medida del contenido de informaci�n. Por ejemplo, si hubiera 7 candidatos (en vez de 8), el contenido de informaci�n para la decisi�n final a�n ser�a de 3 bits.)

Construyendo sobre esta simple idea, Shannon fue capaz de desarrollar un contenido completo de la teor�a de la informaci�n cuantitativa, que ha sido de enorme importancia para los ingenieros que tienen que decidir cuanta "capacidad de canal" requiere, en un punto dado, una red de comunicaciones. Tan completo fue su an�lisis inicial que, aunque se puede encontrar la teor�a descrita en muchos textos contempor�neos, tambi�n se puede ir directamente al panfleto original -conjunto con Weaver- de 1949. Excepto por un detalle: el nombre "teor�a de la informaci�n" tiende a confundir.

Tal como ha sido notado por cierto n�mero de autores (incluy�ndome, en mi libro de 1991 Logic and Information), la teor�a de Shannon no trata directamente con "informaci�n" tal y como es entendida comunmente esta palabra, sino m�s bien con datos -la materia prima de la cual se obtiene la informaci�n. (Ver mi libro InfoSense para una discusi�n sobre la diferencia.) En la teor�a de Shannon lo que se mide es el tama�o de la se�al binaria. Sin importar lo que denota esta se�al. De acuerdo con la medida de Shannon, cualquier par de libros de 100.000 palabras tienen exactamente el mismo contenido de informaci�n. Esto es algo de utilidad (aunque tiende a confundir) si tu objetivo es transmitir ambos libros digitalmente por la Internet. Pero si uno es un manual de instrucciones para construir un submarino nuclear y el otro una novela sin mucho valor, nadie dir�a que ambos libros contienen la misma cantidad de "informaci�n".

Por la misma raz�n, cualquiera que piense que la cantidad de informaci�n del trabajo de Shannon de 1948 puede ser capturado por la frase: "100 p�ginas valiosas", seguramente ha estado en trance durante los �ltimos 50 a�os, en los que las ideas de Shannon han transformado el Mundo."