Theoretische Grundlagen der Informatik – 14. Tutorium

Organisatorisches

Tagesthemen

Quelle

Sei \Sigma ein Alphabet und p eine Wahrscheinlichkeitsverteilung auf \Sigma, also \forall \sigma \in \Sigma: 0 \leq p(\sigma) \leq 1 und \sum_{\sigma \in \Sigma} p(\sigma) = 1.

Eine gedächtnislose Quelle ist ein Gerät, das einen (potentiell unendlichen) Strom von Zeichen aus \Sigma erzeugt, wobei die unabhängige Wahrscheinlichkeit dafür, dass als nächstes Zeichen \sigma \in \Sigma produziert wird, p(\sigma) ist.

Ist das eine gedächtnislose Quelle?

Ist das eine gedächtnislose Quelle?

Information

Sei Q eine gedächtnislose Quelle, die eine Folge von Zeichen aus einem Alphabet \Sigma ausgibt, wobei die unabhängige Wahrscheinlichkeit dafür, dass ein Zeichen \sigma \in \Sigma ausgegeben wird, 0 \leq p(\sigma) \leq 1 sei.

Die Information, die ein von Q emittiertes Zeichen \sigma \in \Sigma trägt, ist I_\sigma(Q) = -\log(p(\sigma)).

Sofern der Logarithmus zur Basis 2 verwendet wird, ist die Einheit der Information Bit.

Entropie

Sei Q eine gedächtnislose Quelle, die eine Folge von Zeichen aus einem Alphabet \Sigma ausgibt, wobei die unabhängige Wahrscheinlichkeit dafür, dass ein Zeichen \sigma \in \Sigma ausgegeben wird, 0\leq{}p(\sigma)\leq1 sei.

Die Entropie der Quelle ist H(Q) = -\sum_{\sigma \in \Sigma} p(\sigma) \log(p(\sigma)) wobei die Konvention „0 \log(0) = 0“ gilt.

Die Entropie ist also der Erwartungswert der Information. Sofern der Logarithmus zur Basis 2 verwendet wird, ist die Einheit der Entropie Bit.

Entropie

Sei Q eine gedächtnislose Quelle, die Zeichen aus einen Alphabet \Sigma mit Wahrscheinlichkeit p emittiert, und |\Sigma| = n.

Hamming-Distanz

Sei \Sigma ein Alphabet und x, y \in \Sigma^n für n \in \mathbb{N}.

Die Hamming-Distanz zwischen x und y ist definiert als d(x, y) = \sum_{i = 1}^{n} (1-\delta(x_i, y_i)) wobei w_i \in \Sigma das i-te Symbol in w für w \in \Sigma^* bezeichne.

Quellcodierung

Sei Q eine gedächtnislose Quelle, die Zeichen aus einem Alpgabet \Sigma emittiert. Eine Quellcodierung ist eine berechenbare bijektive Funktion f_s: \Sigma^+ \to \Gamma^+ für ein Alphabet \Gamma.

f_s(Q) ergibt eine neue Quelle, die den von Q erzeugten Zeichenstrom codiert mit f_s ausgibt.

Eine gute Quellcodierung komprimiert die Daten. Das wird erreicht, wenn für möglichst alle w \in \Gamma^+ gilt, dass w \in bild(f_s). Man ist daher bestrebt, f_s so zu wählen, dass \frac{H(f_s(Q))}{\log(|\Gamma|)} maximal wird.

Kanalcodierung

Sei Q eine gedächtnislose Quelle, die Zeichen aus einem Alpgabet \Sigma emittiert. Eine Kanalcodierung ist eine berechenbare bijektive Funktion f_c: \Sigma^+ \to \Gamma^+ für ein Alphabet \Gamma.

f_c(Q) ergibt eine neue Quelle, die den von Q erzeugten Zeichenstrom codiert mit f_c ausgibt.

Eine gute Kanalcodierung spreizt den Code-Raum gleichmäßig (fügt Redundanz ein). Man ist daher bestrebt, f_c so zu wählen, dass d_{min} = \min \{ d(w_1, w_2) : w_1, w_2 \in bild(f_c) \land w_1 \neq w_2 \} maximal und gleichzeitig die Entropie nicht unnötig weit reduziert wird.

Kanaldecodierung

Seien \Sigma und \Gamma Alphabete, n, m \in \mathbb{N} und f_c: \Sigma^n \to \Gamma^m ein Kanalcode mit \Image(f_c) = C \subseteq \Gamma^m und Minimaldistanz d_{min}. Sei c \in \Gamma^m ein empfangenes Wort.

  1. Fall 1: c \in C: decodiere c zu f_c^{-1}(c) = w \in \Sigma^n

  2. Fall 2: c \not \in C:

    Fehlererkennung

    Breche Decodierung mit Fehler ab. Dieses Vorgehen erlaubt es, Übertragungsfehler, die bis zu d_min - 1 Zeichen „kippen“, zu erkennen.

    Fehlerkorrektur

    Decodiere zu jenem w \in \Sigma^n, das d(f_c(c), w) minimiert (Maximum-Likelyhood Decoding). Dieses Vorgehen erlaubt es, Übertragungsfehler, die bis zu floor((d_min - 1) / 2) Zeichen „kippen“, zu korrigieren.

Quell- und Kanalcodierung

Quellcodierung

Kanalcodierung

Wie zeigen wir, dass eine Sprache L regulär ist?

Wie zeigen wir, dass eine Sprache L nicht regulär ist?

Wie zeigen wir, dass ein(e) X mit X \in \{ endlicher Automat, Kellerautomat, Turingmaschine \} [nicht] deterministisch ist?

Wie zeigen wir, dass ein endlicher Automat \mathcal{A} = (Q, \Sigma, q_0, F)} [nicht] minimal ist?

Wie zeigen wir, dass eine Sprache L kontextfrei ist?

Wie zeigen wir, dass eine Sprache L nicht kontextfrei ist?

Wie zeigen wir, dass eine Grammatik G = (T, V, S, P) ein Wort w \in T^* erzeugen kann?

Wie zeigen wir, dass eine Sprache L entscheidbar ist?

Wie zeigen wir, dass eine Sprache L semi-entscheidbar ist?

Wie zeigen wir, dass eine Sprache L nicht entscheidbar (unentscheidbar) ist?

Wie zeigen wir, dass eine Sprache L nicht semi-entscheidbar ist?

Wie zeigen wir, dass eine Sprache \mbox{L\in\mathcal{P}} ist?

Wie zeigen wir, dass unter der Annahme, dass \mathcal{P} \neq \mathcal{NP}}, eine Sprache L \not\in \mathcal{P}} ist?

Wie zeigen wir, dass eine Sprache L \in \mathcal{NP}} ist?

Wie zeigen wir, dass eine Sprache L \in \mathcal{NPC} ist?

Wie zeigen wir, dass es unter der Annahme, dass \mathcal{P} \neq \mathcal{NP}, für ein Problem \Pi keinen \epsilon-approximativen Algorithmus mit polynomieller Laufzeit geben kann?

Das funktioniert natürlich analog auch für \alpha-Approximierbarkeit (mit gegebenem festem \alpha \in \mathbb{R}^+) und für absolute Gütegarantien. Siehe die Beispiele, die wir im Laufe des Semesters zu BinPacking, TSP und Clique betrachtet haben.

Wie zeigen wir, dass eine Sprachklasse \mathcal{L} abgeschlossen ist unter einer Verknüpfung \circ?

Wie zeigen wir, dass eine Sprachklasse \mathcal{L} nicht abgeschlossen ist unter einer Verknüpfung \circ

Wie zeigen wir, dass \exists x \in M: p(x) für eine Menge M und ein unäres Prädikat p? (Quintessenz)

Wie zeigen wir, dass \forall x \in M: p(x) für eine Menge M und ein unäres Prädikat p? (Quintessenz)

Valid XHTML 1.0 Strict