情報とは何か

ーーその本質を考えるーー

                                                                                 久保田隆成

Top Page に戻る   目次に戻る

第３章　情報量など

3.4.4 情報量とエントロピー

　ここでは、次のようなエルゴード的な情報源を考える。

　      表現要素： L₁, L₂, ・・・・・, L_k

        生起確率： ｐ₁, ｐ₂, ・・・・・, ｐ_k

　この情報源から生起した、十分長い長さ n 字の通報中に含まれる各表現要素の頻度（n₁, n₂,・・・・・, n_k )は、「大数の法則」から次のようになる。

　　　　　n₁ = np₁, n₂ = np₂, ・・・・・, n_k = np_k　　　　　（3.13）

L₁, L₂, ・・・・・, L_k なる文字を、　np₁, np₂, ・・・・・, np_k 個含む長さ n 字の通報の総数 M(n) は順列組み合わせの公式から、次のようになる。

　　　　　M(n) = n! / {(np₁)!(np₂)!, ・・・・・, (np_k)!

                  = n! / Π_(i=1〜k) (np_i)!                     （3.14）

　ここで、エルゴード的であるから、時間平均としての情報量が N(T) の対数で示されたように、集合平均としての M(n) の情報量は、その対数 log M(n) で示されること、また、n の値が大きい場合、次式で示す「Stirling の公式」、

　　　　　log n! ≒ n（log n - 1）　　　　　　　　　　　　　　（3.15）

が成り立つので、式（3,14）の両辺の対数をとり、式（3.15）を適用すると、情報量 log M(n) は次式で表される。

　　　　　log M(n) = log n! - Σ_i=1〜k log (np_i)!

                      ≒ -n Σ_i=1〜k p_i・log p_i                   (3.16)

　１文字あたりの情報量 （log M(n) / n) すなわち、「平均情報量」は、「エントロピー」（entropy）と呼ばれ、次式で与えられる。

　　　　　H = -Σ_i=1〜k p_i・log p_i                                (3.17)

　エントロピーの式（）を導出するために、ここでは、「Stirling の公式」を使ったが、Shannon のやり方は、もっと根本的ことから出発している。

　(1)　情報源からどのくらいの情報が「生成」されたかを何らかの意味で測る量（どのくらいの「生成速度」で情報が生成されたかを測る量）をていぎできるだろうか。

　(2)　情報源の　表現要素： L₁, L₂, ・・・・・, L_kについては、その生起確率　 ｐ₁, ｐ₂, ・・・・・, ｐ_k以外の情報は分かっていないいないものとする。

　(3)　このとき、事象の「選択性」を測ることができるか。あるいは、結果の「不確かさ」を測ることはできるか。

  (4)　これらを測る「尺度」を、例えば、H(ｐ₁, ｐ₂, ・・・・・, ｐ_k) があるとすれば、その「尺度」は、次の性質を有することが合理的である。  

　　�@　連続： H は ｐ₁, ｐ₂, ・・・・・, ｐ_k に関して連続でなければならない。

　　�A　単調増加関数：　 ｐ₁, ｐ₂, ・・・・・　などがすべて　1/n に等しいとき、H は n の単調増加関数でなければならない。

　　�B　加重相加：　選択が２つの連続した選択に分けられたならば、分ける前の H は、分けた後の H に重みをつけて加えたものに等しくならなければならない。

図3.15 加重相加の説明図

　図3.15(a) は、１回の選択で、p₁=1/2, p₂=1/3, ｐ₃=1/6 の中から選択し、（b)は、最初に確率 1/2 の２者択一で下側の枝を選択して、次に、２対１の比率で２本の枝に分岐し、（a） と同じ結果になっている。式で示すと次のようになる。

　　　　　H(1/2, 1/3, 1/6) = H(1/2, 1/2) + (1/2)・H(2/3, 1/3)              （3.18）

　式（3.18）の右辺は、最初の分岐項に、第２の分岐項に「1/2」の重みを付けて加えた形になっている。

　Shannon は、上に挙げた、�@ 〜 �B の要請を唯一満足するのは、式（3.17）の「平均情報量（エントロピー）」の式の形をしていなければならないことを示したのである。

3.4.5 二者択一の情報源

　「雨が降るか、降らないか」、「長か半か」、あるいは 「生きるべきか、死すべきか」 など「二者択一」の問題は、どちらにしたやよいか決め手を欠くとなかなか決断できない。

    式（3.17）において、k = 2,  p1 = p,  p2 =  1 - p とおけば、「二者択一」のエントロピーは次式で与えられる。

　　　　　H = -p log p - (1 - p) log (1 - p)               （3.19)

     式（）に従って、p （0 〜 1）に対する H の変化をグラフに描くと次のようになる。 

図3.16

　二者択一で、一方の生起確率が 100 % のとき、他方の生起確率（1 - p）は零であるから、エントロピー（平均情報量）は 0 ビットである。必ず起こること、例えば、「明日も夜が明ける」などは何の情報にもならないし、同様に、全く起きないこと、例えば、「永久機関」など、真面目に論じる人などはいない。

　二者択一で、エントロピー（平均情報量）が最大になるのは、両者の生起確率が等しい（５０％）ば場合である。情報を利用する視点から見ると、不確かさが最も大きくなる。「サラリーマン川柳」に次のような句があったのを思い出す。

　　　　　　「金かかる　中途半端な子の頭」

　戦略・戦術を立てるとき、考慮事項の優先順位が同じ場合、一番困る。「百人一首競技かるた」では、１００首中、５０首は「空札」であるが、「空札」も読み上あげられる。そこで、かつて、「情報科学」の定期試験に次のような問題を出した。

設問　百首の歌のうち、５０首の歌が場に並べられているから、場にある「取り札」に対応する上の句が読まれる確率は平均して５０％です。この情報に基づいて戦略を立てるとして、確率５０％の情報はどんな意味をもっていますか。

3.4.6 情報源の相対エントロピー及び冗長度

　エルゴード的マルコフ過程が想定される情報源では、長さ n 字の通報の量 M (n) とエントロピー H 関係は

　　　　　H = lim_n→∞ (1/n) log (1/p)  = lim_n→∞ (1/n) log M (n)

である。また、p は代表的な長さ n 字の通報のうちの一つが生起する確率であるから、M (n) は、ｎ→∞ につれて、漸近的に次式に従って増大する。

　　　　  M (n) = 2^nH                                              (3.20)

　上式から、同じアルファベットを持つ二つの情報源でも、長さ n 字の可能な通報の数は、H が大きいほど多くなることがわかる。

　H が最大になあるのは、すべての文字が等確率で生起し、かつ、並び方が独立な（他の文字に影響されない）場合である。文字の出現に文法的な拘束をともなった複雑な構造を有するほどエントロピー、したがって通報の数は少なくなる。

　もし、アルファベット２６文字が等確率、独立な並び方が許されるなら、長さ n 文字のメッセージの数は 26ⁿ であるから、n = 1, 2, 3, 4, 4.5, 5, に対応するメッセージの数は次のように膨大な数になる。

　M(1) = 26, M(2) = 676, M(3) = 17,576, M(4) = 456,976, M(4.5) = 2,330,130, M(5) = 11,881,376

 なお、 M(4.5) = 2,330,130 は英単語の平均文字数（4.5 文字）に対応するメッセージ数である。

　実際に存在する英単語の数は上の値よりはるかに少なく、世界最大収録語彙数をほこるオックスフォード英語辞典ですら、50万語程度といわれている。

　ここで、同一の表現要素をもった二つの情報源を考える。第１の情報源は、実際に使用されている言語の情報源で、その文字数を n 、エントロピーを H とする。第２の情報源として、各文字が等確率、並び方が独立な情報源で、文字数を m 、また、エントロピーは最大になるので、Hmax と表記する。

　それぞれ、情報源から生成可能なメッセージの総数 M₁(n)　、M₂(n) は次のように考えてよい。

　　　　　M₁(n) ≒ 2^nH　　　                                           （3.21）

          M₂(m) ≒ 2^mHmax 　　                                      （3.22）

　いま、第１の情報源から生成されるメッセージ数と同数のメッセージ数を第２の情報源から生成するものとすると、M₁(n) = M₂(m)　→ nH = mHmax すなわち、

　　　　　m / n = H / Hmax  < 1　　                               （3.22）

であるから、第１の情報源からのメッセージを第２の情報源からのメッセージ対応させて表現すると、文字数を H/Hmax だけ圧縮できる。第１の情報源は、確率的構造が複雑なため情報量が小さく、無駄な文字を含んでいることを意味している。

　それで、「H / Hmax」は「相対エントロピー」（relative entropy）と呼ばれている。上の例で、無駄な文字数は、n ×（1 - H / Hmax） であるので、

　　　　　１−（H / Hmax）                                            (3.23)

を「冗長度」（redunancy）と呼んでいる。

　情報源の確率的構造を「マルコフ過程」の視点からる見ると、英単語の場合は次のようになっている。

  単語の最初の文字は、全２６文字中、いずれの文字も取りうる可能性があるから、そのエントロピーを F₀ とすると

　　　　　F₀ = log₂ (26) = 4.70   [bit]                              （3.24）

　以下、１文字の確率を考えたときのエントロピーを F₁、２重字までを「単純マルコフ」と考えたときのエントロピーを F₂、３重字エントロピー（２重マルコフ）を F₃ 、・・・・・・とすると、これらのエントロピーは次のようになっている。

　　　　　F₁ = 4.14, F₂ = 3.56, F₃ = 3.30, ・・・・・, F₈ = 2.35  [bit]

　英文の冗長度は約 ５０％ といわれているから、「マルコフ過程」として見れば、英文は「７重マルコフ」情報源と考えられる。（１- F₈ / F₀ = 1 - 2.35 / 4,70 = 0.5 =50 % )

　「百人一首競技かるた」では、「読み札」（上の句＝５・７・５の１７文字）を聴き、自陣と敵陣に晒されている「取り札」（下の句＝７・７の１４文字）（それぞれ２５枚、計５０枚）を素早くとっていく。「読み札」によっては、最初の１文字が読まれた瞬間、下の句が決まってしまう歌が７首ある。これを「１字決まり」とういう。

　「１字決まり」の７つ文字は「む・す・め・ふ・さ・ほ・せ」でる。たとえば、「む」で始まる歌は、次の１首のみである。

　　　　　村雨の露もまだひぬ真木の葉に　霧立ちのぼる秋の夕暮れ　＜寂蓮法師＞

　「決まり字」は、「２字」：４２首、「３字」：３７首、「４字」：６首、「５字」：２首、「６字」：６首　であり、決まり字：「１字」〜「３字」までで、１００首中、８６首が決まってしまう。なお、「４字決まり」と「６字決まり」は２首択一(３組)、「５字決まり」は２首択一(１組)である。ちなみに、「６字決まり」の１組を挙げると次のとおりである。

　　　　　君がため春の野に出でて若菜つむ　わが衣手に雪は降りつつ　＜光孝天皇＞

　　　　　君がため惜しからざりし命さへ　長くもがなと思ひけるかな　　　　＜藤原義孝＞

　「３字決まり」の３７首のうち、３４首（１７組）は次のように「二首択一」である。

　　　　 春過ぎて夏来にけらし白妙の　衣ほすてふ天の香具山　　　　　　＜持統天皇＞

         春の夜の夢ばかりなる手枕に　かひなく立たむ名こそ惜しけれ 　＜周防内侍＞

　「読み札」の１音目は五十音中の次の２７音であり、１番多いのは「あ」の１６枚である。

　「あ」：１６、「な」：８、「わ」：７、「お」：７、「こ」：６、「た」：６、「み」：５、「か」：４、「は」：４、「や」：４、「よ」：４、「い」：３、「ひ」：３、「き」：３、「ち」：３、「う」：２、「し」：２、「も」：２、「つ」：２、「ゆ」：２、「む」「す」「め」「ふ」「さ」「ほ」「せ」：１枚。

　以上のように、「競技かる」たとしての「百人一首」は、３１文字のメッセージを１字から６字までに圧縮できるる、冗長度の高い構造を有している。

　「競技かるた」に出場するほどの人は、全１００首を諳（そら）んじているから、「１字決まり」の文字から、たちどころに、次の例のように残りの３０文字を復元できる。

　　　　　「ほ」→「＿ととぎす鳴きつる方をながむれば　ただ有明の月ぞ残れる」

　こういう構造は、「短縮ダイヤル」と同じである。

　次に、「６字決まり」(「あさぼらけ」）を例にとり、「読み札」の文字が読まれるにつれて、エントロピーが減少していく様子を示す。

　　　　　(注）「あさぼらけ」に絡んだ「上の句」は次の３句である。

　　　　　　　　あさぢふの　をののしのはら　しのぶれど　  （浅茅生の　小野の篠原しのぶれど）

　　　　　　　　あさぼらけ　ありあけのつきと　みるまでに　（朝ぼらけ　有明の月と　みるまでに）

　　　　　　　　あさぼらけ　うぢのかわぎり　たえだえに　　 （朝ぼらけ　宇治の川霧　たえだえに）

　「読み札」が読み終わるたびに、次々と「情報源」のエントロピーが減少していくから、そのたびごとに、競技者は、取り札の配置を変えるなど、「作戦」を変えていくことになる。

　「冗長度」と「復元」の視点から、「情報科学」の定期試験に次の問題を出したことがる。

　設問　次の文字列 �@ の場合は適当な「ひらがな」で、また文字列 �A の場合は適当な「数字」で空欄を埋めことを試みてください。

　そこで、文字列 �@ について比較的簡単に埋めることができるが、文字列 �A については埋めることができない理由を説明してください。

 �@　親譲りの無鉄砲で小供の時から損　 　 　している。小学校に居る時分学校の二階から飛び降りて一週間ほど腰を抜　 　 　事がある。なぜそんな無闇をしたと聞く人が　 　 　 　知れぬ。別段深い理由でもない。新築の二階から首を出し　 　 　 ら、同級生の一人が冗談に、いくら威張っても、そこから飛び降りる事は出来まい。弱虫　 　 　 。と囃した　 　 　 　る。

 �A　１０−０１　 　 　 　９１−０１８９−０３　 　 　 　８８１２

　　�@ は、「坊ちゃん」（夏目漱石、1906年（明治39年）作）の冒頭の部分から採ったものであるが、この小説を読んだことがない人でも、空欄を埋めることができよう。なお、原文に合っていなくても、そのことを問題にしていない。一方、�Aは、何か意味ありげな数字が並んでいるが、埋めようがない。

　この問題を通して、学生に「無駄」（冗長性）の重要性を知ってもらうことが狙いであった。「無駄」（例えば趣味・道楽）は、挫折したときの回復力となり、人生を豊かにするのである。

　今回の参議院選挙でも、”消費税よりも、先ず無駄の根絶！” が叫ばれていたし、蓮舫議員に象徴さcれた事業仕訳は、無駄の徹底した洗い出しが主眼であった。しかし、何が本当に「無駄」なのか長期的な展望が欠けている。

この章の前節に戻る：

   3.1 時代背景 及び 3.2 通信系モデル　　    　3.3 情報源

   3.4 確率的情報源（3.4.1 定常不規則過程　3.4.2 エルゴード的定常不規則過程　3.4.3 マルコフ過程）

他の章へ：

       第１章　初めに　　第２章　情報の本質　　　第４章　遺伝情報

 Ｔｏｐ Page に戻る   目次に戻る