【気象予報士試験】第8章 予報精度の評価法|適中率・スレットスコア・ブライアスコア・RMSE・コスト/ロスモデルをゼロから学ぼう!

🌏 この記事を読み終わるころには、この問題が解けるようになります!

【例題】

「予報精度の評価法に関する次の説明のうち、正しいものはどれか。
① 平均誤差(ME)が0であれば、必ず完全予報といえる
② スレットスコアは、まれにしか起きない現象の予報精度評価に適している
③ ブライアスコアは値が大きいほど予報精度がよい
④ スキルスコアは完全予報で値が0になる」

目次

  • 1. カテゴリー予報の精度評価(適中率・空振り率・見逃し率)
  • 2. スレットスコアとバイアススコア
  • 3. 注意報・警報の予報精度評価
  • 4. 気温予想誤差の評価(ME・RMSE)
  • 5. 降水確率予報の評価(ブライアスコア)
  • 6. スキルスコア
  • 7. 持続予報・気候値予報と捕捉率
  • 8. コスト/ロスモデル
  • 9. 📋 理解チェックテスト(5問)
  • 10. 📋 過去問チャレンジ(2問)

1. カテゴリー予報の精度評価

天気や降水などの発生有無をカテゴリー(分類)に分けて評価する手法です。ここでは2×2の分割表を用いて、現象の有無を評価します。

実況あり 実況なし
予報あり A(的中) C(空振り)
予報なし B(見逃し) D(的中)

【サンプル資料】

A = 24, B = 16, C = 12, D = 48 (合計 N = 100)

  • 適中率: (A + D) / (A + B + C + D)
    サンプル:(24 + 48) / 100 = 0.72(72%)。値が大きいほど良く、完全予報で1になります。天気の出現が混合する場合に適しています。
  • 空振り率: C / (A + B + C + D)
    サンプル:12 / 100 = 0.12(12%)。値が小さいほど良いです。
  • 見逃し率: B / (A + B + C + D)
    サンプル:16 / 100 = 0.16(16%)。値が小さいほど良いです。
カテゴリー予報の分割表・ME/RMSE公式・ブライアスコア説明図

▲ カテゴリー予報の分割表・ME/RMSE公式・ブライアスコア説明図

2. スレットスコアとバイアススコア

スレットスコア(TS)

  • 台風、大雨、雷など、まれにしか起きない現象の適中率評価に適しています。
  • 式: TS = A / (A + B + C) ※発生しなかった正解であるDを除外して計算します。
  • サンプル:24 / (24 + 16 + 12) = 0.462
  • 値が大きいほど良く、完全予報で1になります。

バイアススコア

  • 式: バイアス = (A + C) / (A + B) (予報ありの回数 / 実況ありの回数)
  • 1に近いほど予報の偏りが少ないことを示します。
  • 1より大きい場合は「予報しすぎ」、1より小さい場合は「予報少なすぎ」を意味します。
スレットスコアの考え方・コスト/ロスモデルの判断基準

▲ スレットスコアの考え方・コスト/ロスモデルの判断基準

3. 注意報・警報の予報精度評価

注意報や警報もまれな現象の予報となるため、特有の評価法が使われます。

実況(現象あり) 実況(現象なし)
発表あり A(的中) C(空振り)
発表なし B(見逃し) D(的中)
  • 注意報・警報の適中率: A / E (E = A + C:発表総数)
    サンプル(A=24, C=12の場合):E = 36、適中率 = 24 / 36 ≒ 66.7%
  • 空振り率: C / E
    サンプル:12 / 36 ≒ 33.3%
  • 見逃し率: B / F (F = A + B:実況あり総数)
    サンプル(B=16の場合):F = 40、見逃し率 = 16 / 40 = 0.4(40%)

💡 捕捉率(防災上重要)

式: 捕捉率 = A / (A + B)

竜巻注意情報のように予測が難しい現象では、実際の適中率は数%〜10%未満と低いことが多いですが、防災の観点から「実際に起きた現象をどれだけ予報できていたか」を示す捕捉率を重視します。
(例:20回的中、30回見逃し → 捕捉率 = 20 / 50 = 40%)

4. 気温予想誤差の評価(ME・RMSE)

平均誤差(ME:バイアス)

  • 式: ME = Σ(F_i - A_i) / N (F:予報値、A:実況値、N:予報回数)
  • サンプル(4回分):予想 [24, 19, 28, 28]、実況 [26, 20, 21, 26]
  • 誤差:[-2, -1, +7, +2]
  • ME = (-2 – 1 + 7 + 2) / 4 = 6 / 4 = +1.5

【試験の重要ポイント】

MEが0であっても、プラスの誤差とマイナスの誤差が相殺されている場合があります。
「ME=0 だからといって、必ずしも完全予報であるとはいえない」という点に注意してください。

2乗平均平方根誤差(RMSE)

  • プラスとマイナスの誤差が相殺されない評価法です。
  • 式: RMSE = √[Σ(F_i - A_i)² / N]
  • サンプル:予想 [34, 19, 28, 28]、実況 [36, 20, 27, 25]
  • 差:[-2, -1, +1, +3]
  • 二乗:[4, 1, 1, 9]
  • 二乗の平均:(4 + 1 + 1 + 9) / 4 = 15 / 4 = 3.75
  • RMSE = √3.75 ≒ 1.936…(※計算例の数値に基づく)
  • 値が小さいほど良く、完全予報で0になります。

5. 降水確率予報の評価(ブライアスコア)

  • 式: BS = Σ(F_i - A_i)² / N (F:予報確率0〜1、A:実況0または1、N:予報回数)
  • サンプル(4日間):予想 [20%, 60%, 80%, 30%] → [0.2, 0.6, 0.8, 0.3]
  • 実況:[0, 1, 1, 0]
  • 差:[0.2, -0.4, -0.2, 0.3]
  • 二乗:[0.04, 0.16, 0.04, 0.09]
  • BS = (0.04 + 0.16 + 0.04 + 0.09) / 4 = 0.33 / 4 = 0.0825

💡 ブライアスコアの注意点

値が小さいほど良い指標です。
0が完全予報、1が最悪予報となります。(※第7章で学んだ三階級確率の考え方とは逆になるため注意!)

6. スキルスコア

  • 気候的出現率(予報の技術的難易度)を除外した評価法です。
  • 完全予報: 値が 1
  • ランダム予報・根拠のない予報: 値が 0
  • 適中率が悪い場合: 負の値になることもあります。
  • 試験対策としては、①概念、②完全予報=1、③ランダム予報=0、④悪い場合=負 の4点を覚えましょう。

7. 持続予報・気候値予報と捕捉率

  • 持続予報: 前日の実況値を翌日の予報値とする手法
  • 気候値予報: 平年値を予報値とする手法
  • 捕捉率の重要性(再掲):
    防災上、もっとも重要な指標です。雷注意報の突風捕捉率はほぼ100%近くになるように運用されています。

8. コスト/ロスモデル

予報を利用して対策を取るべきかどうかを経済的な視点で判断するモデルです。

  • コスト(C): 対策を取ったときの費用
  • ロス(L): 対策を取らずに損害を受けた場合の費用

【判断の基準】

  • C/L < 予報の確率: 対策を取る方が経済的に合理的
  • C/L > 予報の確率: 対策を取らない方が経済的に合理的

計算例:

  • C = 100万円、L = 300万円の場合、C/L = 1/3 ≈ 0.33(33%)
  • 降水確率が 40% の場合: 0.40 > 0.33 → 対策を取る方が合理的
  • 降水確率が 20% の場合: 0.20 < 0.33 → 対策を取らない方が合理的

9. 📋 理解チェックテスト(5問)

【問1】

適中率について
① 適中率は予報が当たった事象Aのみを全事象で割る
② 適中率は天気の出現が偏っている場合(砂漠の晴れ)に適している
③ 適中率はまれな現象(台風上陸)の精度評価に最も適している
④ 適中率の計算で、A=24, B=16, C=12, D=48のとき、適中率は0.72である

💡 解答・解説

正解:④
①誤:AとDの和を全事象で割る。②誤:偏った天気には適さない。③誤:まれな現象にはスレットスコア。④正しい:(24+48)/100=0.72。

【問2】

スレットスコアとバイアススコアについて
① スレットスコアはDを含めて計算する
② バイアススコアが1より大きいとき、予報はしすぎの傾向がある
③ スレットスコアは常に適中率より大きい値になる
④ バイアススコアは0に近いほど良い

💡 解答・解説

正解:②
①誤:Dを除外してA/(A+B+C)で計算。②正しい。③誤:Dを除外するためケースによる。④誤:1に近いほど良い。

【問3】

平均誤差(ME)とRMSEについて
① ME=0なら必ず完全予報である
② RMSEはプラスとマイナスの誤差が相殺される欠点がある
③ MEが0でも、プラスとマイナスの誤差が相殺されている場合は予報誤差が存在する
④ RMSEは値が大きいほど予報精度が良い

💡 解答・解説

正解:③
①誤:+と−が相殺されてME=0になる場合がある。②誤:RMSEは2乗するので相殺されない。③正しい。④誤:小さいほど良い。

【問4】

ブライアスコアについて
① ブライアスコアは値が大きいほど予報精度が良い
② 完全予報のとき、ブライアスコアは1になる
③ ブライアスコアは0が完全予報、1が最悪予報である
④ ブライアスコアはカテゴリー予報の精度評価に使われる

💡 解答・解説

正解:③
①誤:小さいほど良い。②誤:完全予報は0。③正しい。④誤:確率予報(降水確率)の評価に使う。

【問5】

コスト/ロスモデルについて
① C=100万円、L=300万円のとき、C/L=1/3である
② 降水確率がC/Lより大きい場合、対策を取らない方が合理的である
③ スキルスコアは完全予報で0になる
④ 持続予報は気候値(平年値)を翌日の予報に使う

💡 解答・解説

正解:①
①正しい:100/300=1/3。②誤:C/Lより確率が大きければ対策を取る方が合理的。③誤:完全予報で1。④誤:持続予報は前日の実況値を使う。

10. 📋 過去問チャレンジ(2問)

【過去問1:平成26年度第2回 専門知識 問15】

予報精度の評価に関する次の説明について、正誤の組み合わせを選べ。
(a) 2乗平均平方根誤差(RMSE)では、プラスの誤差とマイナスの誤差が相殺されることはない
(b) ブライアスコアは、値が小さいほど予報精度が高く、完全予報では0になる
(c) スキルスコアは完全予報で値が0になる
(d) スレットスコアはまれにしか起きない現象の適中率評価に適した手法である

選択肢:①正正誤正 ②正誤正正 ③正正正誤 ④誤正正誤 ⑤正誤誤正

💡 解答・解説

正解:①(a正、b正、c誤、d正)
(a)正:2乗するため相殺されない。(b)正。(c)誤:スキルスコアは完全予報で1。(d)正。

【過去問2:気象予報士試験受験支援会オリジナル問題】

注意報・警報の予報精度評価において、A=30, B=20, C=10(A:発表あり実況あり、B:発表なし実況あり、C:発表あり実況なし)のとき、
(a) 注意報の適中率はどれか:①30% ②75% ③60% ④50%
(b) 見逃し率はどれか:①20% ②40% ③50% ④33.3%
(c) 捕捉率はどれか:①30% ②60% ③75% ④50%

💡 解答・解説

正解:(a)②75% (b)②40% (c)②60%
・適中率 = A / (A+C) = 30 / (30+10) = 30 / 40 = 0.75 = 75%
・見逃し率 = B / (A+B) = 20 / (30+20) = 20 / 50 = 0.4 = 40%
・捕捉率 = A / (A+B) = 30 / (30+20) = 30 / 50 = 0.6 = 60%

まとめ

  • カテゴリー予報:適中率=(A+D)/(A+B+C+D)、空振り率=C/(A+B+C+D)、見逃し率=B/(A+B+C+D)
  • スレットスコア:まれな現象向け。TS=A/(A+B+C)、大きいほど良
  • バイアススコア:(A+C)/(A+B)、1に近いほど偏りなし
  • 注意報・警報:適中率=A/E、空振り率=C/E、見逃し率=B/F
  • ME(平均誤差):+−相殺に注意。ME=0≠完全予報
  • RMSE:2乗するため相殺なし。小さいほど良、完全予報=0
  • ブライアスコア:確率予報の評価。0=完全予報、1=最悪予報、小さいほど良
  • スキルスコア:気候的出現率を除外。完全予報=1、ランダム=0、悪い場合=負
  • 持続予報:前日実況値を翌日予報に使う
  • 気候値予報:平年値を予報に使う
  • 捕捉率:A/(A+B)。防災上最重要。
  • コスト/ロスモデル:C/L<確率→対策する。C/L>確率→対策しない

難易度:★★★★☆(計算問題が多いが、公式はシンプル。繰り返し計算練習しましょう!)

この記事について

気象予報士試験の合格を目指す方のために、専門知識を初学者向けにわかりやすく解説しています。予報精度評価法は計算問題が頻出です。各公式の意味と値の大小関係(大きいほど良いか、小さいほど良いか)を必ず覚えましょう!

【気象予報士試験講義No.19】予報精度の評価法|適中率・スレットスコア・ブライアスコア・RMSE・コスト/ロスモデルをゼロから学ぼう!

どくりん


よろしくお願いします


投稿ナビゲーション


コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です