Aktivität 5 – Informationstheorie

Zwanzig Versuche – Informationstheorie

Wie viele Informationen gibt es in einem 1000-seitigen Buch? Gibt es mehr Informationen in einem 1000-seitigen Telefonbuch oder in einem Ries mit 1000 Blättern leerem Papier oder in Tolkiens ‘Herr der Ringe’? Wenn wir dies messen können, können wir abschätzen wie viel Platz benötigt wird, um die Informationen zu speichern. Kannst du zum Beispiel noch den folgenden Satz lesen?

n dsm Stz fhln ll Vkl

Wahrscheinlich kannst du es, weil es in den Vokalen nicht viel „Information“ gibt. Diese Aktivität führt zu einer Möglichkeit, Informationsinhalte zu messen.

Worum geht es in dieser Aktivität?

Ein berühmter amerikanischer Mathematiker (und Jongleur und Einradfahrer) namens Claude Shannon hat viele Experimente mit diesem Spiel gemacht.

Er maß die Menge an Informationen in Bits - jede Ja / Nein-Antwort entspricht einem 1/0-Bit. Er fand, dass die Menge an „Information“, die in einer Nachricht enthalten ist, von dem abhängt, was wir bereits wissen. Manchmal können wir eine Frage stellen, die die Notwendigkeit beseitigt, eine Menge anderer Fragen zu stellen. In diesem Fall ist der Informationsgehalt der Nachricht gering.

Zum Beispiel ist die Information in einem einzigen Wurf einer Münze normalerweise ein Bit: Kopf oder Zahl. Wenn aber die Münze ‘verfälscht’ ist, die den Kopf bei neun von zehn Würfen zeigt, entspricht die Information nicht mehr einem Bit – auch, wenn man’s nicht glauben kann: noch weniger! Wie findest du mit weniger als einer Ja / Nein Frage heraus, wie der Münzwurf war? Einfach - verwende dazu nur Fragen wie „Werden die nächsten zwei Münzwürfe ‚Kopf’ zeigen?“

Für eine Folge von Würfen mit der ‘verfälschten’ Münze, wird die Antwort darauf etwa 80% der Zeit „Ja“ sein. Bei den übrigen 20% der Würfe, wo die Antwort „Nein“ ist, musst du noch zwei weitere Fragen stellen. Im Durchschnitt aber wirst du weniger als eine Frage pro Münzwurf stellen!

Shannon nannte den Informationsgehalt einer Nachricht „Entropie“. Entropie hängt nicht nur von der Anzahl der möglichen Ergebnisse ab (2, im Fall eines Münzwurfs), sondern auch von der Wahrscheinlichkeit, dass es passiert. Unwahrscheinliche Ereignisse oder überraschende Informationen brauchen viel mehr Fragen, um die Botschaft zu erraten, weil sie uns mehr Informationen mitteilen, die wir noch nicht kennen - genau wie die Situation, einen Hubschrauber zur Schule zu nehmen.

Die Entropie einer Botschaft ist für InformatikerInnen sehr wichtig.

Du kannst eine Nachricht nicht komprimieren, um weniger Platz als ihre Entropie zu nehmen, und die besten Kompressionssysteme sind gleichbedeutend mit einem Ratespiel. Da ein Computerprogramm die „Versuche“ macht, kann die Liste der Fragen später wiedergegeben werden; solange die Antworten (Bits) gespeichert sind, können wir die Informationen rekonstruieren! Die besten Kompressionssysteme können Textdateien auf etwa ein Viertel ihrer ursprünglichen Größe reduzieren - eine große Einsparung von Speicherplatz!

Die Rate-Methode kann auch verwendet werden, um eine Computerschnittstelle zu bauen, die prognostiziert, was der Benutzer als nächstes eingeben wird!

Dies kann sehr nützlich sein für körperlich behinderte Menschen, die es schwer haben zu schreiben. Der Computer schlägt ihnen vor was er vermutet und sehr wahrscheinlich ist, als nächstes eingetragen zu werden, und die Benutzer geben nur ein, was sie wollen.

Ein gutes System braucht durchschnittlich nur zwei Ja / Nein-Antworten pro Schriftzeichen und kann von großem Nutzen für jemanden sein, der Schwierigkeiten hat, die feinen Bewegungen zu machen, die benötigt werden, um eine Maus oder eine Tastatur zu steuern. Diese Art von System wird auch in einer anderen Form verwendet, um Text auf einigen Handys einzutippen.

Übungen und Materialien