情報理論(Information Theory)
本科選択・必修開設時期単位数授業形態担 当
情報電子必修4年2講義小林 明伸
【授業の概要】
情報とは何かという根源的な問題から出発して、その発生と伝達についての体系的な見方を習得させ、通信分野の工学的応用につながる基礎知識を養う。主な内容は、情報量、情報の発生と伝達、符号化、である。
【授業の進め方】
座学の講義を基本とし、適宜巻末の練習問題の演習を行い、理解度を測りながら講義を進める。
授業内容を理解するために予習復習を必ずしてください。

【授業計画】 【授業項目】 【内 容】
1 回 情報理論とは 情報理論の位置付けを理解し、情報が事象を写し取った記号であることを認識する。
2 回 通信システムのモデル 通信の基本的なしくみを解説し、不可欠なものは何かを考える。
3 回 標本化定理と量子化 情報のデジタル化に必要な、標本化、量子化の意味を解説する。
4 回 集合、試行 情報理論を理解するうえで必要最小限の確率論の基礎を学ぶ。
5 回 確率、平均と分散 確率、確率変数、平均、分散、偏差などの用語の意味を理解させる。
6 回 条件付確率 条件付確率、独立、従属、結合確率などの概念を理解させる。
7 回 マルコフ過程、ベイズの定理 マルコフ過程、遷移確率、シャノン線図について学ぶ。
8 回 中間試験 情報量の意味、確率論の基礎知識の理解度を測る。
9 回 情報源のモデル 情報源は、記号と置き換えて考えることを理解させる。
10 回 エントロピー、情報量 情報量の定義、平均情報量(エントロピー)の定義を理解させる。
11 回 平均符号長 符号語の長さ、平均符号長の概念を学ぶ。
12 回 情報源符号化定理 符号化の方法を学ぶ。
13 回 ハフマン符号、ランレングス符号 情報源符号化の実現方法、ハフマン符号、ランレングス符号について学ぶ。
14 回 算術符号、ZL符号 情報源符号化の実現方法、算術符号、ZL符号について学ぶ。
期末試験 情報源の意味、符号化の方法について理解度を測る。
15 回 答案返却など 前期末試験の解説をする。
16 回 結合エントロピー 結合エントロピーについて学ぶ。
17 回 条件付エントロピー 条件付エントロピーについて学ぶ。
18 回 相互情報量 各種エントロピーの関係について検討し、相互情報量に対する理解を深める。
19 回 マルコフ情報源のエントロピー マルコフ情報源のエルゴード性を理解し、定常確率などの知識を深める。
20 回 通信路のモデル 通信路のモデルについて基本知識を学ぶ。
21 回 通信路容量 通信路容量、通信路行列について学ぶ。
22 回 平均誤り率、通信路符号化定理 通信路は通常雑音などの誤りが生じることを前提に、符号化による誤りを少なくする方法について学ぶ。
23 回 中間試験 情報の伝達の基本である符号化の意味と、情報伝送技術における符号化に関する知識を測る。
24 回 誤り検出と訂正の理論 誤り検出、訂正符号の概念を理解し、符号を構成するために必要な理論を学ぶ。
25 回 パリティ検査符号 パリティ検査符号について学ぶ。
26 回 線形符号、ハミング符号 線形符号、パリティ検査行列について学ぶ。
27 回 巡回符号、 巡回符号の定義、多項式の四則演算を学ぶ。
28 回 多項式とベクトル 巡回符号は多項式表現を用いると符号化や誤り検出の計算が行いやすいことを学ぶ。
29 回 演習 線形符号、巡回符号、巡回ハミング符号など演習を行う。
期末試験 符号に関する理論全般について概念を習得できているかを試験する。
30 回 答案返却など 学年末試験の解説をする。
【到達目標】情報量の概念、情報の発生と伝達、符号化、についての内容を理解する。
【徳山高専学習・教育目標】A1【JABEE基準】1(2)d-1,2.1(1)A
【評価法】総合評価=(前期中間試験+前期末試験+後期中間試験+後期末試験)÷4

【テキスト】教科書、三木成彦・吉川英機共著「情報理論」(コロナ社)
【関連科目】フーリエ・ラプラス変換(4年)