統計的検定の基礎（仮説検定）

Q: 統計的検定の基礎（仮説検定）とは何ですか？

仮説検定では、まず「差がない・効果がない」とする帰無仮説 H_0: \mu = \mu_0 と、それに対立する対立仮説 H_1: \mu \neq \mu_0 を立てる。標本平均 \bar{x}（標本サイズ n）が、中心極限定理により平均 \mu_0、標準偏差 \sigma/\sqrt{n} の正規分布に近似的に従うとみなし、次の検定統計量 Z を計算する。Z = \frac{\bar{x} - \mu_0}{\sigma / \sqrt{n}} この Z の値が、あらかじめ決めた有意水準 \alpha（一般に0.05）に対応する棄却域に入れば H_0 を棄却し「統計的に有意な差がある」と判定する。

Q: 統計的検定の基礎（仮説検定）は社会やプログラミングでどのように使われていますか？

Webサービスの A/B テストにおける統計的有意差判定: 新デザイン（B案）が旧デザイン（A案）よりクリック率（CVR）が高いかどうかを、単なる偶然のブレと区別して判定するために、2群の比率の差の検定を用いてZスコアとp値を計算し、意思決定に利用する。

「たまたま」と「意味のある差」を数式で見分けるための帰無仮説・有意水準・p値

この単元の発見をシェア

3行要約（Key Takeaways / AIOサマリー）

1: 仮説検定は「差がない」とする帰無仮説を立て、観測データがその仮説のもとでどれくらい起こりにくいかを確率的に評価する手法
2: 検定統計量 Z を正規分布上にプロットし、あらかじめ決めた有意水準（多くは5%）に対応する棄却域に入るかどうかで「有意差あり／なし」を判定する
3: この枠組みは、新旧のWebデザイン案のクリック率の差が偶然のブレか本当の改善かを判定するA/Bテストの意思決定に直接応用されている

なぜこれを学ぶのか？ — 現実社会とテクノロジーでの価値

Purpose & Motivation

なぜ生まれたのか？

仮説検定は「差がない」とする帰無仮説を立て、観測データがその仮説のもとでどれくらい起こりにくいかを確率的に評価する手法

身につく武器・思考力

検定統計量 Z を正規分布上にプロットし、あらかじめ決めた有意水準（多くは5%）に対応する棄却域に入るかどうかで「有意差あり／なし」を判定する

実社会・ITでの活躍現場

•Webサービスの A/B テストにおける統計的有意差判定
•ITシステム・アルゴリズム実装における論理設計
•データ分析やシミュレーションにおける数理モデリング

Layer 1 — 直感・シミュレーター

「標本平均」「標本サイズ n」「帰無仮説の母平均 μ₀」「母標準偏差 σ」のスライダーを動かしてみよう。グラフ上の正規分布曲線に、赤くハイライトされた棄却域と、実際の検定統計量Zの位置がマーカーで表示される。マーカーが棄却域に入ると「有意差あり（帰無仮説を棄却）」、入らなければ「有意差なし（棄却できない）」と自動的に判定結果が切り替わる。

標本平均

\bar{x}

: 0.60

帰無仮説の母平均

\mu_0

: 0.00

母標準偏差

\sigma

: 1.00

標本サイズ

n

: 30

🔴 帰無仮説を棄却（有意差あり）

Z = (0.60 − 0.00) / (1.00/√30) = 3.29 (|Z| > 1.96)

↑ 赤く塗られた両端の領域が有意水準5%の棄却域です。検定統計量 $Z$ のマーカーがこの領域に入ると赤、入らなければ緑になり、判定結果が自動的に切り替わります。標本サイズ $n$ を大きくすると標準誤差が小さくなり、わずかな差でも「有意差あり」と判定されやすくなることを確認してみましょう。

直感チェック！ミニクイズ

有意水準5%の両側検定で「有意差あり」と判定される検定統計量 Z の条件はどれか？

Layer 2 — 定義・受験・証明

定義

仮説検定では、まず「差がない・効果がない」とする帰無仮説 $H_0: \mu = \mu_0$ と、それに対立する対立仮説 $H_1: \mu \neq \mu_0$ を立てる。標本平均 $\bar{x}$ （標本サイズ $n$ ）が、中心極限定理により平均 $\mu_0$ 、標準偏差 $\sigma/\sqrt{n}$ の正規分布に近似的に従うとみなし、次の検定統計量 $Z$ を計算する。

Z = \frac{\bar{x} - \mu_0}{\sigma / \sqrt{n}}

この $Z$ の値が、あらかじめ決めた有意水準 $\alpha$ （一般に0.05）に対応する棄却域に入れば $H_0$ を棄却し「統計的に有意な差がある」と判定する。

公式・数理モデル

Z = \frac{\bar{x} - \mu_0}{\sigma / \sqrt{n}}, \qquad \text{棄却域（両側5\%）}: |Z| > 1.96

証明・導出

棄却域の境界値がなぜ 1.96 になるかの導出：

中心極限定理より、標本平均 $\bar{x}$ は $n$ が大きいとき近似的に正規分布 $N\!\left(\mu_0, \dfrac{\sigma^2}{n}\right)$ に従う。これを標準化すると、

Z = \frac{\bar{x} - \mu_0}{\sigma/\sqrt{n}} \sim N(0, 1)

すなわち標準正規分布に従う。

両側検定で有意水準 $\alpha = 0.05$ を設定するとは、「 $H_0$ が正しいと仮定したときに、確率 5% 以下でしか起こらないほど極端な結果」を棄却域とすることを意味する。標準正規分布表より、両側の面積の合計が 0.05（片側 0.025 ずつ）となる境界は $z = \pm 1.96$ である。

したがって、実際に観測された $Z$ の絶対値が $1.96$ を超えていれば、それは帰無仮説のもとでは 5% 未満の確率でしか起こらない「珍しい」出来事であるとみなし、帰無仮説を棄却して対立仮説を採用する。

押さえておきたいポイント

帰無仮説 $H_0$ ：「差がない」という保守的な仮説。棄却されて初めて対立仮説が支持される
有意水準 $\alpha$ ：帰無仮説が正しいのに誤って棄却してしまう確率の許容上限（第一種の過誤）
p値：観測データ以上に極端な結果が、帰無仮説のもとで起こる確率。 $p < \alpha$ なら有意と判定する
サンプルサイズ $n$ が大きいほど標準誤差 $\sigma/\sqrt{n}$ が小さくなり、わずかな差でも検出しやすくなる（検出力の向上）

参照基準・学習指導要領との対応

本トピックの内容・数理モデルは、文部科学省学習指導要領（算数・数学・情報）および国際標準カリキュラムに準拠し、エンジニアリング現場の実装事例と照らし合わせてMath World Lab編集部により検証・作成されています。

Layer 3 — 工学応用・現場実装

Webサービスの A/B テストにおける統計的有意差判定

新デザイン（B案）が旧デザイン（A案）よりクリック率（CVR）が高いかどうかを、単なる偶然のブレと区別して判定するために、2群の比率の差の検定を用いてZスコアとp値を計算し、意思決定に利用する。

1// A/Bテストの2群比率検定（Zスコアとp値の近似計算）
2function abTestZTest(
3  conversionsA: number,
4  visitorsA: number,
5  conversionsB: number,
6  visitorsB: number,
7  alpha: number = 0.05
8): { zScore: number; isSignificant: boolean } {
9  const pA = conversionsA / visitorsA;
10  const pB = conversionsB / visitorsB;
11
12  // プールした比率（帰無仮説「差がない」を仮定した共通の比率推定値）
13  const pPool = (conversionsA + conversionsB) / (visitorsA + visitorsB);
14  const standardError = Math.sqrt(
15    pPool * (1 - pPool) * (1 / visitorsA + 1 / visitorsB)
16  );
17
18  const zScore = (pB - pA) / standardError;
19
20  // 有意水準5%の両側検定における棄却域の境界値
21  const criticalValue = 1.96;
22  const isSignificant = Math.abs(zScore) > criticalValue;
23
24  return { zScore, isSignificant };
25}
26
27// 例: A案 100/2000件成約(5%)、B案 140/2000件成約(7%)
28const result = abTestZTest(100, 2000, 140, 2000);
29console.log(`Zスコア: ${result.zScore.toFixed(2)}`);
30console.log(`統計的有意差あり: ${result.isSignificant}`);