3. Begriff und Theorie der Information
3.6 MESSBARKEIT DER INFORMATION
MESSBARKEIT DER INFORMATION
(Quantifizierende Aussagen zum Informationsbereich)
Das Interesse der
• Informationssoziologie
richtet sich auf die quantifizierende Erfassung von
- Informationsaufkommen z.B. im Wissenschaftsbereich
- Zahl der Zeitschriften
- der Monographien
- Dissertationen etc.
- Zahl der Wissenschaftler
- Publikationshäufigkeit
- Zitationshäufigkeit
- Alterungsrate der Literatur
- Nationale / internationale Verteilung etc.
Mit der Erhebung und Auswertung
dieser Daten beschäftigt sich
näherhin die Szientometrie.
- Informationsdiensten
- Dokumentationsstellen
- Hosts (Inf.-Service-Rechenzentren)
- Inf.-Vermittlungsstellen
- Datenbanken
Anzahl der Dokumentationseinheiten
Vollständigkeit der Gebietsabdeckung
Aktualität etc. - Gedruckten I-Diensten
Referateorganen etc. - Nationaler / internationaler Verteilung der I-Dienste
Mit der Erhebung und Auswertung
dieser Daten beschäftigen sich
die Informetrie / Bibliometrie.
Das Interesse der
• Informationstechnik
richtet sich auf die quantifizierende Erfassung von
- Leistungsdaten eines IT-Systems
z.B. seine Rechengeschwindigkeit
Kanalkapazitäten
Speicherkapazitäten - Softwaredaten
Leistungsdaten von Datenbank-Management-Systemen
Retrievalsystemen
Anzahl verwalteter Zielinformationen
Thesaurusgrößen
Suchprozeduren
Zugriffsdauer
etc.
Mit der Erhebung und Auswertung
dieser Daten beschäftigt sich
die Informetrie
Meßbarkeit der Information i.e.S.
Das Interesse der Nachrichtentechnik:
"Nachrichten bilden eine verwickelte Mischung aus Überraschung und Wiederholung. Dies wird offenkundig, wenn man sich vergegenwärtigt, daß die gesamte Vielfalt aufgeschriebener Gedanken durch die Kombination von 26 Buchstaben beherrschbar ist. Diese Situation ist bei jeder Art von Nachricht gegeben: Eine Liste von Zeichen wird auf irgendeine Weise festgelegt und eine bestimmte Nachricht durch eine bestimmte Kombination von Zeichen der Liste wiedergegeben."
R.V.L. Hartley: Transmission of Information, in: Bell System Technology, Journal 7, 1928, 535-63:
Nachrichten sind nach Hartley zusammengesetzt
aus:
Information (i.S. von Neuigkeit) und
Redundanz (i.S. von Wiederholungen, von Bekanntem)
Wie läßt sich der Neuigkeitsgehalt einer Nachricht feststellen ?
Voraussetzung ist die:
Erfahrbarkeit der Information
- physikalische Erfahrbarkeit:
→ elektrische Impulse als Signale
→ Speicherzustände - logische Erfahrbarkeit:
→ Zeichen(-gegebenheiten) als Daten:
Zeichenrepertoire
(z.B. lat. Alphabet + 1 Leerzeichen + Sonderzeichen, Zahlzeichen)
→ Verkettungsregeln und -arten:
lineare Verkettung
keine Agglomerate
Das nachrichtentechische Meßverfahren setzt an auf der
syntaktischen Ebene
der Information:
Nachricht = Zeichenfolge
[Information + | Redundanz] |
neue Zeichen + | bekannte Zeichen |
i.S.v. unerwartete Zeichen + | erwartete Zeichen |
Der Bedeutungsgehalt = semantische Ebene
und
der Akteurs-/Handlungszusammenhang = pragmatische Ebene
bleiben außer Betracht.
Bestimmung eines Informationsmaßes
[1.*] Ansatz (Hartley, Hershberger):
* eingefügt, der Hrsg.
Das Informationsmaß mißt den (formalen)
Neuigkeitswert einer Nachricht
= Überraschungswert,
mit dem ein Zeichen aus einem Zeichenvorrat
als Nachricht erscheint.
Ziel der Messung:
Schaffung einer Grundlage zur
Kompensation der Störanfälligkeit
einer Nachrichtenübertragung
(über Redundanzen)
Meßverfahren: Informationswert als Neuigkeitswert
a) Messung von ein-elementigen Nachrichten eines Repertoires mit n Zeichen (Rep(n))
Der Meßwert der Nachricht (Information) entspricht dem Überraschungswert, den ein gesendetes Zeichen beim Empfänger besitzt in Abhängigkeit von der Vorhersagbarkeit des Zeichens ausgedrückt durch die von der Repertoiregröße bestimmten Anzahl der Alternativen (Anzahl zu treffender Auswahlentscheidungen).
Erläuterung:
Gegeben ist z.B. ein Zeichenrepertoire (zur Codierung einer Nachricht) von (für Expedient und Rezipient) bekannter Mächtigkeit, z.B.:
Rep(n) = {a,b,c,d,}
(Mächtigkeit = 4)
- Aus der Sicht des Expedienten:
Der Meßwert der Information mißt die Auswahlfreiheit für die Codierung einer 1-elementigen Nachricht. - Aus der Sicht des Rezipienten:
Der Meßwert der Information mißt die Unvorhersagbarkeit des für die 1-elementige Nachricht verwendeten Codes.
Die Folgerung aus beiden Definitionen ist gleich.
1. Fall:
Das Rep(n) besteht nur aus einem Zeichen:
Bei n = 1 (z.B. n = a)
gibt es keine Sende-/Empfangsalternative:
Es gibt keine Auswahlfreiheit für den Sender.
Es gibt keine Unvorhersagbarkeit für den Empfänger.
Die Sendung einer 1-elementigen Nachricht aus dem Rep(a) hat keinen Neuigkeitswert und damit keinen Informationsgehalt.
Der Informationsgehalt ist 0.
2. Fall:
Das Rep(n) besteht aus zwei Zeichen.
Bei n=2 (z.B. n = a,b) gibt es genau 1 Sende-/Empfangsalternative, bzw. ist 1 Auswahlentscheidung zu treffen; genauer: zu treffen ist 1 Binärentscheidung = 1 bit (binary digit)
Der Meßwert der Binärentscheidung stellt den Informationswert dar.
Zemanek: "Der Informationsgehalt (I) entspricht dem Entscheidungsgehalt. (EG)"
Bei n = 2 ist EG = 1 bit bzw. ist I = 1 bit
3. Fall:
Das Repertoire besteht aus vier Zeichen.
Bei n = 4 (z.B. n = a,b,c,d,) muß sich der Expedient bei der Codierung einer 1-elementigen Nachricht für eine von vier Alternativen entscheiden, der Rezipient erwartet eine von vier alternativen Zeichensendungen.
Diese sogen. quartäre Entscheidung läßt sich in zwei binäre Entscheidungen aufteilen:
1. Schritt: { a,b } v { c,d }
2. Schritt: a v b (bzw. c v d)
Die Auswahlfreiheit entspricht damit 2 binären Entscheidungen.
Bei n = 4 ist EG = 2 bit bzw. ist I = 2 bit.
Einschub:
Die Erkenntnis, daß beliebige Auswahlentscheidungen stets durch eine
Folge von Binärentscheidungen
getroffen werden können, geht zurück auf Francis Bacon of Verulam (1561 - 1626).
= "Baconscher Fundamentalsatz"
[Die Verwendung des binären Systems ist willkürlich aber praktisch]
Aus den betrachteten Fällen ergibt sich:
Für 1-elementige Nachrichten codiert aus Zeichenrepertoiren der Mächtigkeit n ergibt sich als Informationswert für das einzelne Zeichen bei
n = 1 EG = 0 I = 0 bit n = 2 EG = 1 I = 1 bit n = 4 EG = 2 I = 2 bit
(Unterstellung: Jedes Zeichen besitzt den gleichen Informationswert)
Nach dem Prinzip der Reduktion möglicher Entscheidungsalternativen auf Binärentscheidungen gilt bei:
n = 8 EG = 3 I = 3 bit n = 16 EG = 4 I = 4 bit
Die Größe des Informationswertes hängt (bei 1-elementigen) Nachrichten allein von der Größe des Repertoires ab.
Allgemein gilt:
Der Entscheidungsgehalt (EG) bzw. Informationswert (I) läßt sich durch die Anzahl der Binärentscheidungen angeben, die für die Auswahl eines Zeichens aus Rep(n) erforderlich sind, also durch die Anzahl der in n enthaltenen 2er-Potenzen.
Der EG (I) eines Zeichens aus Rep(n) läßt sich durch den Exponenten von als 2er-Potenz ausgedrücktem n angeben.
z.B. bei n = 8 = n = 2³
ist der EG bzw. I eines / jedes Zeichens = 3;
allgemein
n = 2EG EG / I = ldn bit
Der Entscheidungsgehalt = Informationsgehalt einer 1-elementigen Nachricht ist gleich dem Logarithmus zur Basis 2 von n (n = Mächtigkeit des verwendeten Zeichenrepertoires) angegeben in bit.
Beispiel: Bestimmung einer verdeckt gezogenen Skatkarte (Bestimmung des Informationswertes einer verdeckt gezogenen Karte) (max.)
z.B.:
1. Auswahlschritt schwarz v rot
2. Auswahlschritt Kreuz v Pik
3. Auswahlschritt Zahl v Bild
4. Auswahlschritt {7,8} v {9,10}
5. Auswahlschritt 7 v 8
oder:
n = 32 = 25 n = 2EG
EG = I = ld 32 = 5 bit
Der Neuigkeitswert einer beliebigen aufgedeckten Skatkarte beträgt 5 bit.
Bei n ungleich einer Potenz von 2
z.B. n = 3 = Rep(a,b,c)
lautet die Anwendung des Baconschen Fundamentalsatzes wie folgt:
- Schritt {a} v {b,c}
- Schritt {b} v {c}
Es entspricht die Zahl der Auswahlentscheidungen der nächst höheren 2er-Potenz der Zeichenanzahl über n hinaus.
I = EG (ai) = ld (n) bit:
(n)=über die Mächtigkeit (i) des Rep a hinausliegende nächst höhere Potenz von 2
Bei wachsendem Repertoire wachsen
- Auswahlfreiheit
- Unvorhersagbarkeit
Da n stets >= 1 ist EG stets >= 0
Das Informationsmaß ist also stets positiv.
Je größer der Zeichenvorrat
desto größer der Informationsgehalt
des einzelnen Zeichens
(gilt für jedes Zeichen in gleicher Weise).
b) Messung von mehr-elementigen Nachrichten eines Repertoires mit n Zeichen (Rep(n))
Wenn:
Länge der Nachricht (Anzahl der Elemente / Zeichen ) = K
Dann gilt, weil: EG (mehr-elementig der Länge K) = I (mehr-elementig der Länge K),
I = K x ld(n) bit
(n und K müssen bekannt sein).
Auswahlfreiheit und (Un)vorhersagbarkeit (als Grundlage zur Bestimmung des I-Wertes für Expedient und Rezipient) entsprechen sich allerdings nur, wenn gilt
RepE = RepR
Praktische Bedeutung
Jedes Zeichen eines Rep {n} ist durch einen Binär-Code darstellbar mit ld (n) Stellen / Zeichen
Beispiel: Re {a,b,c,d}
n = 4 = 2²
Code-Positionen
ld (n) = ld (4) = 2
00 = a
01 = b
10 = c
11 = d
Binär-Code Konstruktion
Der Informationswert einer 1-elementigen Nachricht (Senden / Empfangen eines Zeichens) aus einem gegebenen Zeichenrepertoire bestimmt die Anzahl der erforderlichen Stellen eines für dieses Repertoire geschaffenen Bibär-Codes.
Aus der Stellenzahl ergibt sich die Mächtigkeit des Codes.
Erweiterter ASCII-Code
= 8-stelliger Code
= 28 = 256 Zeichen
Bestimmung eines Informationsmaßes
2. Ansatz (Shannon u. Weaver)
Das Informationsmaß mißt die Wahrscheinlichkeit
des Auftretens einzelner Zeichen (Zeichenketten) in
einer gegebenen Zeichenfolge.
(Die Mächtigkeit des Zeichenrepertoires, also n, muß
bekannt sein)
Ziel der Messung: Vorhersagbarkeit des (nächsten)
gesendeten Zeichens als Grundlage zur
Störungskompensation
[Ereignisstatistischer Ansatz]
Erläuterung
C.E. Shannon u. W. Weaver, The mathematical Theory of Communication, Urbana 1949 (Neudruck 1964)
Bei dem ereignis-statistischen Ansatz zur Bestimmung eines Informationswertes geht es um die quantitative Abschätzung bzw. näherungsweise Bestimmung des Eintretens zufälliger (Zeichen-) Ereignisse. Der Informationswert ist ein Maß für die Wahrscheinlichkeit / Unwahrscheinlichkeit des Eintretens eines Zeichenereignisses.
Der Wert von Wahrscheinlichkeiten liegt stets zwischen 0 und 1
0 ≤ p ≤ 1
Es wird festgelegt:
- Die Auftretenswahrscheinlichkeit eines Ereignisses erhält den Wert p = 1,
wenn es für dieses Ereignis
keine Alternativen gibt,
z.B. bei einem Rep. mit n = 1 Zeichen.
Es besteht keine Sendealternative.
Für dieses Ereignis soll gelten:
Es besitzt keinen Informationswert: I = 0 bit - Die Auftretenswahrscheinlichkeit eines Ereignisses erhält
den Wert p = 0,
wenn es für dieses Ereignis
unendlich viele Alternativen gibt,
z.B. bei einem Rep. mit n = ∞ Zeichen.
Es bestehen unendlich viele Sendealternativen.
Für ein Ereignis aus diesen Alternativen soll gelten:
Es besitzt einen unendlichen Informationswert: I = | bit
Der in der Mitte liegende Fall ergibt das Maß für die Informationseinheit:
Bei einem Rep(n) mit n = 2 (z.B. Münzwurf) ist die Sendewahrscheinlichkeit eines bestimmten Zeichens = 50 Prozent:
p = ½ (bei 0 ≤ p ≤ 1)
Für p = ½ soll gelten: Informationswert = 1 bit.
Allgemein gilt:
Je größer die Wahrscheinlichkeit eines Zeichenereignisses (Annäherung von p an den Wert 1), desto geringer ist sein Informationswert (Annäherung von I an den Wert 0)
Je geringer die Wahrscheinlichkeit eines Zeichenereignisses (Annäherung von p an den Wert 0), desto höher ist sein Informationswert (Annäherung von I an den Wert ∞)
Je größer ein Zeichenrepertoire, desto höher ist der Informationswert jedes einzelnen Zeichens (bei Annahme gleicher Auftretenswahrscheinlichkeiten).
Ein Nutzen
der Informationswertberechnung
im Sinne des o. gen. Ziels (Störungskompensation)
zeigt sich aber erst,
wenn man die in den Formeln
angenommene Gleichwertigkeit
der Zeichen eines Rep n
durch einen empirisch belegbaren Wert
der Auftretenswahrscheinlichkeit
eines bestimmten Zeichens ersetzt.
Danach gilt in deutschen Texten (Basis 20 Mio Silben)
Buchstabe Wahrscheinlichkeitswert
e 0,147004 n 0,088351 a 0,043309 y 0,000173 q 0,000142 x 0,000129
Berücksichtigt man das Auftreten von Buchstabengruppen (z.B.: en, er, ch, ck, ung, sch, keit, heit, ) liegt der Informationsgehalt pro Buchstabe nur bei 1,2 - 1,5 bit.
Praktische Konsequenz
Die Toleranzfähigkeit gegenüber fehlerhafter Zeichenübertragung beim Empfänger ist relativ hoch.
Je mehr
Rep Sender mit Rep Empfänger
- Zeichenvorrat, Wortschatz, Wortbildungsregeln -
übereinstimmt und
je vergleichbarer
die Sprachkompetenz
von Sender und Empfänger
ist, desto leichter lassen sich
Übertragungsstörungen
beim Nachrichtenaustausch kompensieren.
Technische Konsequenzen
Auswertung der Wahrscheinlichkeitswerte der Zeichen des Alphabets
- bei der Konstruktion von
- Codes
- Korrekturprogrammen - bei der Entwicklung von OCR-Software
(Unterstützung der Zeichenerkennung durch Kontextauswertung)
Die Bestimmung eines semantischen Informationsmaßes
Y. Bar Hillel und R. Carnap haben vorgeschlagen, den Informationswert einer Nachricht (als gültige Aussage über eine Welt) durch die Anzahl der durch die Nachricht ausschließbaren (nicht geltenden Sätze) auszudrücken.
Eine inhaltliche Erkenntnis (semantische Information) nimmt demnach zu, je mehr mögliche Zustandsbeschreibungen durch eine Nachricht ausgeschlossen werden.
Dieser Ansatz setzt eine logisch-fixierte Sprache voraus, deren Wörter und einstelligen Prädikate vollständig bekannt sind, weil nur so die Zahl der möglichen Zustandsbeschreibungen der Bezugswelt ermitteltbar ist.
Anwendbarkeit: KI-Welten (Expertensysteme, Robotersteuerung)