情報とは何か

ーーその本質を考えるーー

                                                                                 久保田隆成

Top Page に戻る   目次に戻る

第３章　情報量など

3.4　確率的情報源

　前節で説明したように、情報源の表現要素の一つである文字の出現確率は、統計的な特性を持っている。この特性を考慮して、「モールス符号」や「キーボード」の配列が決められている。以下に、欧文「モールス符号」（一部）を示す。「キーボード」の配列については「PCキーボード配列暗記法」を参照してください。

　　「長点」（ダッシュ）の長さは「短点」（ドット）の３倍の長さをもち、その点の間は１短点長の空白、文字間は３短点長の空白、単語間は６短点分の空白である。

　図3.8 に示した出現頻度の高い語を構成している文字（例えば、「THE」、「AND」、「I」など）に短い符号が割り当てられていることがわかる。

　モールス符号は、1833 年、Morse によって考案され、その後、1901 年　Marconi によって大大西洋横断無線通信が成功し全世界に広まっていった、。また、商業ベースのタイプライタが、1873 年に、”Sholes and Glidden Tyｐe-Writer” という名前で、「E. Remington and Sons」 社から発売され、その時のキー配列（「QWERTY」配列）が現在のキーボードに引き継がれている。

  Shannon の論文以降、情報理論、符号理論、言語統計学及び人間工学などの視点から、モールス符号やキーボードのキー配列について検討されて、色々な案が提案されてきたが、一旦、世界に広まり、実質的な世界標準となったものを変えるまでには至っていない。

　次に、Shannon の情報理論の前提をなす情報源に関する確率的な性質について考えてみる。

3.4.1 定常不規則過程

　前節で、言語の統計的な性質について、いくつかの例をあげて説明したが、ある言語を一つの集合とみた場合、そこから生成される、個々メッセージにおいて、出現する文字は、そのメッセージによって不規則に変化する。その例を、以下に示す。

　この例では英文を取り上げ、先ず、出現する文字をキーボードで入力するものとして、次のように番号を割りつける。その際、キーボードで、タッチするキーは左右の指で決まっているので次のように割りつける。

　英字新聞から、ランダムに ３ 箇所ページを開いて、最初の５０文字を上の表を使ってグラフ化した図を次に示す。

図3.11 グラフ化した英文における出現文字列

　上の３つの波形は、一見、不規則な波形であるが、英語という集団から生成さたものであるから、十分長く観測すれば、その言語としての統計的な特性は、いずれも同じにように現れることが期待できる。

　ちなみに、英語に、特有な空白によって単語を区切るという特徴は、どの系列にも出ている。図において、空白は「０」線上のプロットで示されているから、その個数は、上のグラフから、順に、９、１１、及び１０ 個であり、前に説明したように平均 単語長 4 〜5 文字に近い値を示している。

　上に示した、不規則過程において、時間軸（ここでは「出現順」）を、任意にシフトして、観測しても、その統計的性質は変わらない。この性質を「定常性」（stationarity）と呼び、「定常性」をもった不規則過程を「定常不規則過程」（stationary random process）と呼ばれる。

　一方、ある時点における統計的性質が他の点におけるそれと異なる不規則過程は、「非定常不規則過程」（non-stationary random process）と呼ばれる。

3.4.2 エルゴード的定常不規則過程

　先ず、前節で示した、系列１，２，３　のグラフを重ねたグラフを次に示す。

図3.12 定常不規則過程

　定常不規則過程を取り扱う場合、その動作の時間平均が集合平均に等しいとき、その性質は「エルゴード性」（ergodicity）と呼ばれている。そして、定常不規則過程のうち、「エルゴード性」を有する不規則過程は「エルゴード的不規則過程」（ergodic random process）と呼ばれる。

　図3.12 において、時間（t）の経過に応じて文字が出現するとし、ある系列（例えば系列3）の時刻ｔにおける出現文字を x₃(t)　とすれば、時間平均は、次のように表される。

　　x₃(t) の時間平均 = (N→∞); { x₃(1) + x₃(2) + x₃(3) + ・・・・・ +x₃(N)} / N     (3.2)

　一方、集合平均は、各系列の同一時刻（ｔ）（同一出現順）、例えば上の図において点線で示した出現順位における出力文字、x₁(t)、x₂(t)、x₃(t)、・・・・・の平均値であり、次のように表される。

　　x(t) の集合平均 = (N→∞); { x₁(t) + x₂(t) + x₃(t) + ・・・・・ + x_N(t)} / N        (3.3)

　式（3.2）と（3.3）が等しくなるとき、この定常不規則過程は「エルゴード的」ということになる。実際問題として、特定の系列の時間平均は容易に求められるようが、多数の系列の集合平均を求めることは困難である。この意味で、「エルゴード性」は仮説であるが、私たちは、多くの場合、定常不規則過程が「エルゴード性」を有するものと仮定して理論を進めている。

　定常不規則過程が、エルゴード的であれば、統計における「大数の法則」が適用できる。「大数の法則」とは、ある集合からサンプルを抜き取って求めた平均値が、サンプル数が大きくなるに従って、その集合平均に近づくという法則である。

　今年（2010年）の年賀状の４等賞の当選番号は下２桁が「００」と「５２」であった。４等賞に当たる確率は「0.02」(2%) である。我が家に来た今年の年賀状は約４００枚であった。４等賞にあたる期待値は「８枚」である。実際には、「９枚」当たった。「大数の法則」というのは、さらに枚数が増えれば期待値の「８枚」にいくらでも近づくということである。

3.4.3 マルコフ過程

　「マルコフ過程」（Markov process） は、ロシアの数学者 Markov, Andrei Andreevich（1856-1922）によって見つけ出された確率過程で、気体の拡散理論・遺伝学・社会科学などに応用されている。

　Shannon は、マルコフ過程を情報理論に適用して、言語を「マルコフ型の情報源」として理論を展開している。　当時の Shannon と　電信信号の生成をマルコフ過程によって説明した図（後に「シャノン 線図」（Shannon diagram）と呼ばれるようになった） を示す。

図3.13 Claude Shannon	図3.14　シャノン線図
1951年(35歳)、『LIFE』に掲載された写真	Graphical representation of the constrains on telegraph symbols.

　ある事象の時刻 s おける状態を x(s)　として、s 以降の時刻 t における状態 x(t) の分布が x(s) だけで定まるとき、この確率過程は「単純マルコフ過程」と呼ばれる。

　また、t₁ < t₂ < ,・・・・・, < t_n  としたとき、t_n 後の時刻 t における状態の分布が、x(t₁)、x(t₂)、・・・・・、x(t_n) の　n 個の時点における状態だけで定まり、t₁ より前の状態に無関係であるとき、この確率過程は「n 重マルコフ過程」と呼ばれる。

　Shannon が、論文「A mathematical Theory of Communication」 を構想した時代は、ちょうど第２次大戦に重なる。

　1938 年、MIT 大学院学生時、「日本の外交電文の暗号解読を効率化する装置」の真空管回路設計担当。同年、専攻を「電気工学」から「数学」に変更。

　1940 年、数学で、学位取得。プリンストン高等研究所の特別研究員（通信の数学問題研究）。

　1941 年、　ベル研究所に入所。高射砲の火器管制装置（敵機位置の未来予測）の開発に参加。N. Wiener(1894-1964. "サイバネティックス"の創設者)の指導を受ける。1942 年「M-9予測装置」として欧州戦線で使用。

　1941 年、　英米大統領間で使用する無線音声秘話装置「Xシステム」の開発に、Alan M. Turing(英、1912-1954, "計算機科学の父"と呼ばれている) とともに協力。1943 年、大西洋を挟んで実稼働。

　1945 年、国防研究委員会報告書「Data Smoothing and Prediction in Fire-Control-System」執筆（共著）。機密文書「A Mathematical Theory of Cryptography」作成。

　Shannon は、Wiener や Turing から得た知識をベースに、情報源をエルゴード的な定常不規則過程と捉えて、情報源から生成されるメッセージをノイズが重畳する通信路上を間違えなく伝達することに関心をむけて行った。

　Shannon が参照した文献 を再度示すと、次のとおりである。

　1. Nyquist.H., "Certain Factors Affecting Telegraph Speed," Bell System Technical Journal, April 1924, p. 324; "Certain Topics in Telegraph Transmission Theory," A.I.E.E，Trans., v. 47, April 1928, p. 617.

　2. Hartley, R. V. L., "Transmission of Information," Bell System Technical Journal', July 1928, p. 535.

　文献１の第２の論文で、Nyquist (1889-1976) は、帯域幅 B [Hz] の通信路に 単位時間当たりに送り込める電報のパルス数 fp [pulse/s] には、次式で示す制限があることを示した。

　　　　　fp ≦ 2B            　　 (3.4)

 　　　　　なお、「2B」という値は「Nyqist Rate」 と呼ばれている。

　文献２で、Hartley は、伝送さる信号の振幅が ±A [v]、受信側の精度が ±ΔV [v] である場合、識別可能なパルスレベル数 M は、次式で与えられるとした。

　　　　　M = 1 + A / ΔV         (3.5)

　また、情報の量がパルスレベル数（M）の対数で得られるとして、「Nyqist Rate」（2B）を採用して、達成可能な情報レート R [bit/s] が次式で与えられることを示した。

　　　　　R = 2B log₂ (M)        (3.6)

            なお、 達成可能な情報レート R は、その後「通信路容量」（channel capacity）と呼ばれている。

　Shannon は、まず、メッセージが離散的で、雑音がないが、入力信号に何らかの制約がある場合の通信として、図3.14 に示すようなモールス符号による伝送を取り上げて、式（3.6）を再検討している。

　モールス符号は、長点（「DASH」）、短点（「DOT」）、文字間の空白（「LETTER SPACE」）、単語間の空白（「WORD SPACE」）の 4 種類があり、「空白」の次には「空白」が続かないという制約がある。

　このような、離散的な無雑音の通信路においては、通信路を使用する時間を Ｔ として、T　の関数としての送信可能な信号数の最大値 N(T) は次式のようになり、T に対して指数関数的に増大することを示した。ただし、C は通信路容量である。

　　　　　N(T) = exp(CT)　　　　　　       （3.7)

  上式の両江辺の対数を取り、C について整理すると次式が得られる。

　　　　　C = log N(T) / T                  (3,8)

  ここで、Shannon は、時間 T が十分に長ことを考量して、離散的な通信路容量を次式で定義している。

　　　　  C = lim_N→∞ log N(T) / T　    （3.9）

　式（3.9）の右辺の　N(T) は、そもそも、 T の指数関数であるから、その対数をとった値を T で除すと、有限な値 log W になる。すなわち、次式のように表現できる。

　　　　　C = log W                         （3.10）

　　　　　　ここで、W は、次式の行列式を満足する　最大実根である。

　　　　　｜Σ W^-bij - δ_ij ｜= 0            （3.11）

　例えば、上式を図3.14 に示したモールス符号に適用すると、次のようになる。

（3.12）

　 これを解くと、W = 1.4931 となり、C = log₂ W = 0.5783 ビット / 単位 となる。ここで、１単位を 1ms とすると、モールス符号の通信容量は、最大　578.3 ビット / 秒　となる。 

以下続く

この章の次の節へ：

   3.1 時代背景 及び 3.2 通信系モデル　　    　3.3 情報源　　←前節に戻る

  次節に続く →

    3.4 確率的情報源（3.4.4 情報量とエントロピー　3.4.5 二者択一の情報源　3.4.6 相対エントロピー・冗長度）

他の章へ：

    第１章　初めに　　第２章　情報の本質　　　第４章　遺伝情報

 Ｔｏｐ Page に戻る   目次に戻る