Note 1 Exponential family（指数型分布族）

2026-4-15

復習

• 確率空間、確率変数
• 離散型、連続型確率変数 (Random Variable, RV)
• 確率(密度)関数、分布：Probaility Mass Function (PMF) vs. Probability Density Function (PDF) \(\rightarrow\) Cumulative Distribution Function (CDF)
• 離散型、連続型代表的な分布、分布の形、近似関係
• 分布の期待値、分散 \(\rightarrow\) Moment (Moment Generating Function)
• Random variable vs. Random sample（無作為標本）
• PDF, PMF vs. Likelihood（尤度関数）

1.1 指数型分布族（Statistical Inference pp.111~；現代数理統計の基礎 pp.119）

• 数式１
• 連続型の例：Normal（証明）, Gamma, Beta, Exponential, Chi-square
• 離散型の例：Binomial（証明）, Bernoulli, Poisson, Negative binomial, Multinomial

1.1.1 定理１

• 期待値、分散の導出（課題：証明 \(\rightarrow\) Exercise 3.31, 3.32）
  • 例：Binomial, Normal exponential family （証明）

1.1.2 数式２

• Normal exponential family
• Curved exponential family*
  • Poisson distribution（例）*

1.1.3 指数型分布族 Random Sampleの和（pp.217）

• 数式
• 例： Sum of Bernoulli RVs

1.2 Location and Scale family（pp.116~）

• 定理： Location, scaleによってPDFのを構成する

1.2.1 Location familyの定義

• 例： Exponential location family

1.2.2 Scale family, Location-Scale family

• 定理１：分布の導出

  \(X=\sigma Z+\mu \Rightarrow f_Z(z)\rightarrow f_X(x)\)

• 定理２：\(X\) の期待値、分散

  • 性質：\(X\) の確率

• 応用：Location-Scale pivot (pp.427；現 pp.172)　for constructing CI

コメント

• 確率分布を統一的に表現
• 共通の性質を解析可能
• 期待値・分散の導出が容易
• データとパラメータの分離 –> Sufficient Statistics（十分統計量、第5-6回）

応用

• Generalized linear model（一般化線形モデル）
  • Exponential familyの標準形（canonical form） –> link function