情報とは何か

ーーその本質を考えるーー

                                                                                 久保田隆成

Top Page に戻る   目次に戻る

第３章　情報量など

3.3 情報源

　通報が通信文の場合には、その表現要素は、「文字」（character）である。文法的には、文字がいくつか集まって「単語」（word）を作り、単語がいくつか集まって「句」（phrase）を作り、そして句がいくつか集まって「文」（sengence）を作っている。一般的には、通報としての通信文は、いくつかの「文」から構成されている。

　国語辞典や英和辞典は、「単語」を「五十音順」や「alphabet」順に並べている。ここで、「単語」を構成している「文字」をとってみると、その出現確率は文字によって偏りがあるり、文字の並べ方も拘束されている。単語についても、その使用頻度は異なっている。

　私の身近にある国語辞書（『岩波　国語辞典　第二版』、1971 年）を例にとって、全 1,090 頁における、各五十音の占有率及び、語頭音（あ、い、う、・・・、ん）が同一の単語の占有ページ数を以下に示す。

図3.5
Japanese_alphabet_share
図3.6
character_share

　辞書の「小口」部には、目当ての単語をすばやく見えだすために大抵はインデックス用の「爪」がついているが、国語辞書の場合は、五十音の行単位で付けられている。この「爪」幅の大きさの順位は、図3.5 に示すように、「か行」、「さ行」、「は行」、「た行」、「あ行」の順で、これら上位５行で、１０行中の８３％を占めている。

　図3.6 に示すように、頭に、「し」のつく単語が圧倒的に多く（10.5%）、以下、「か」、「こ」、「き」、「は」、「た」の順（図で、40ページ以上の文字）で、これらの ６ 文字で、全体の 1 / 3 以上（34 %）を占めている。

　ちなみに、英語の辞書（『TAISHUKAN'S GENIUS English-Japanese Dictionary』 Third Edition, 2001 ） では、頭に「S」がつく単語の占めるページ数が最大で、全体（2,215ページ）の　12.1 % を占めています。以下、「C」、「P」、「B」、「A」 の順です。

　辞書は、滅多に使われない単語も平等に載せているが、実際に使われている単語には、その出現頻度に大きな開きがある。

　１文字単位の出現頻度は、その言語の文法が影響してくる。英文では、単語を空白（space）で区切るから、空白の頻度が最も高く、18.17 %、残りの 26 文字の合計頻度は 81.83 % という統計的な調査がある。これから、平均単語長は、４〜５文字になる （81.83 / 18.17≒4.5）。また、冠詞、前置詞、代名詞、助動詞、疑問詞、接続詞、また、過去形を作る文字（「e, d」）などは頻度が高くなる。実際の頻度順は、(space) E T A O N R I S H D L F C M U G Y P W B V K X J Q Z というこである。

　日本語では、単語を「格助詞」（「が」、「の」、「を」、「に」、「へ」、「と」、「より」、「から」、「で」）、「係助詞」（「は」、「も」など）で区切るから、平仮名としては、これらの頻度だが高くなることは予想される。また、「形容詞」（・・・い）、「形容動詞」（・・・だ、・・・です）、「助動詞」（・・・せる、・・・させる、・・・れる、・・・られる、・・・ます、・・・う、・・・よう、・・・らしい、・・・た、・・・だ、・・・たがる、・・・です、・・・ない、・・・ようだ、・・・ようです、・・・そうだ、そうです）などに使用される文字の頻度も高くなるだろう。

　文字の出現頻度についての調査（田中卓也 ”文字の統計―グラフィック端末による分析ー”、『電子計算機による国語研究』、国立国語研究所報告67、1980年）によれば、平仮名の出現頻度は次のとおりである。ただし、調査対象は高校教科書：日本史、世界史、政治経済、倫理社会、地理、物理、生物、化学、地学　の９教科である。総延べ字数 48,096 文字、平仮名延べ字数 22,652 文字（比率47.1%）、漢字延べ字数 17,476 文字(36.3%)、片仮名延べ字数 3,185 文字(6.6%) 、"," 延べ字数 1,791 文字(3.7%)、その他 2,992 文字(6.2%) である。

図3.7
hiragana

　次に、英語における単語の出現頻度を示す。原図は、Shannon の論文　"Prediction and Entropy of Printed English"(Sept.15,1950) によるものである。

図3.8 英文における単語の出現頻度
english_word_appearance
参照：関英男『情報理論』、オーム社、昭和44年 3月31日

　図において、横軸は、全調査単語中の相対順位を示す。縦軸は、横軸の単語の出現度数（frequency）を総延べ出現単語数で除した出現確率を示す。順位１の "THE" の確率は 0.071 (7.1 %) 、順位２の "OF" の確率は 0.034 (3.4 %) である。

　両対数グラフにプロットしたデータマーカーを結ぶ曲線は直線で近似できることが、Zipf によって示されていて、順位 n 番目の単語の出現確率 pn は次式で表される。これを「Zipf の法則」という。順位 ｎ が大きくなると、この直線に乗らなくなる。その限界は、n = 8,727 である。

　　　　　pn　= k / n

　　　　ここで、ｋ　は定数であり、この例では　k = 0.1 である。

 

以下続く

この章の次の節へ：

     3.1 時代背景 及び 3.2 通信系モデル　 ←前節に戻る

   後節→

   3.4 確率的情報源（3.4.1 定常不規則過程　3.4.2 エルゴード的定常不規則過程　3.4.3 マルコフ過程）

   3.4 確率的情報源（3.4.4 情報量とエントロピー　3.4.5 二者択一の情報源　3.4.6 相対エントロピー・冗長度）

 

他の章へ：

    第１章　初めに　　第２章　情報の本質　　　第４章　遺伝情報

 

 Ｔｏｐ Page に戻る   目次に戻る