【第61回 気象予報士試験 専門知識】問14 予報精度の検証指標 RMSE・スレットスコア・ブライアスコアをわかりやすく解説

こんにちは！今回は第61回気象予報士試験 専門知識 問14を解説します！

この問題は、利用者の目的に応じて、どの予報精度の検証指標を見るべきかを判断する問題です。

ポイントは、気温予報・降水の有無・降水確率予報では、見る指標が違うということです。

この問題で重要なポイント

  • 最高気温などの量的予報は二乗平均平方根誤差（RMSE）を見る
  • RMSEは小さいほど精度が良い
  • 降水の有無の予報はスレットスコアを見る
  • スレットスコアは大きいほど精度が良い
  • 降水確率予報はブライアスコアを見る
  • ブライアスコアは小さいほど精度が良い
  • 利用者の目的に合った指標を選ぶことが重要

■ 問題文

気象の予報の利用者A、B、Cが次の文に示す要望を持っている。関係する気象要素について、気象会社XとYの予報精度の検証結果が下表のとおりであるとき、それぞれの利用者が契約する気象会社として最も適切な選択肢を、下記の①〜⑤の中から1つ選べ。

利用者A：気温が30℃を超えると、かき氷の需要が増えるので、翌日の最高気温の予報精度が高い方の気象会社と契約したい。

利用者B：冬の関東平野部で野外イベントを複数回開催する予定である。雨が降ると延期しなければならないので、降水の有無の予報精度が高い方の気象会社と契約したい。

利用者C：降水確率で翌日の商品の入荷数を決めるので、降水確率予報の精度が高い方の気象会社と契約したい。

検証対象 検証指標 X社 Y社
翌日の最高気温予報（℃） 平均誤差 -0.1 0.1
二乗平均平方根誤差 1.4 1.0
降水の有無の予報 スレットスコア 0.45 0.51
降水確率予報 ブライアスコア 0.13 0.10
選択肢 利用者A 利用者B 利用者C
① X X X
② X Y X
③ Y X Y
④ Y Y X
⑤ Y Y Y

■ 解答

⑤

利用者A：Y社
利用者B：Y社
利用者C：Y社

■ 解き方の方針

この問題は、表の数字をそのまま比べるだけではなく、指標ごとに「大きい方が良い」のか「小さい方が良い」のかを判断する必要があります。

最高気温予報
↓
RMSEを見る
↓
小さい方が良い

降水の有無
↓
スレットスコアを見る
↓
大きい方が良い

降水確率予報
↓
ブライアスコアを見る
↓
小さい方が良い

■ 利用者A：翌日の最高気温予報

利用者Aは、翌日の最高気温の予報精度が高い会社を選びたいと考えています。

最高気温のような連続量の予報精度を見る場合は、二乗平均平方根誤差（RMSE）を使います。

RMSEは、予報誤差の大きさを表す指標なので、値が小さいほど精度が高いと判断します。

会社 RMSE 判定
X社 1.4 大きい
Y社 1.0 小さい

したがって、利用者AはY社を選ぶのが適切です。

平均誤差だけで判断しない

平均誤差は、予報が全体として高めに外れるのか、低めに外れるのかを見る指標です。

今回のように「予報精度が高い会社」を選ぶなら、誤差の大きさを表すRMSEを見るのが基本です。

■ 利用者B：降水の有無の予報

利用者Bは、雨が降るか降らないか、つまり降水の有無の予報精度が高い会社を選びたいと考えています。

このような「現象があるか・ないか」の予報では、スレットスコアを見ます。

スレットスコアは、値が大きいほど予報精度が高いと判断します。

会社 スレットスコア 判定
X社 0.45 小さい
Y社 0.51 大きい

したがって、利用者BはY社を選ぶのが適切です。

スレットスコアの見方

降水あり・なしの予報
↓
スレットスコア
↓
1に近いほど良い
↓
大きい方を選ぶ

■ 利用者C：降水確率予報

利用者Cは、降水確率予報の精度が高い会社を選びたいと考えています。

降水確率予報の精度を見る場合は、ブライアスコアを使います。

ブライアスコアは、確率予報と実際の結果のずれを表す指標です。

誤差を表す指標なので、値が小さいほど精度が高いと判断します。

会社 ブライアスコア 判定
X社 0.13 大きい
Y社 0.10 小さい

したがって、利用者CはY社を選ぶのが適切です。

ブライアスコアの見方

降水確率予報
↓
ブライアスコア
↓
0に近いほど良い
↓
小さい方を選ぶ

■ 選択肢確認表

利用者 見たい予報 使う指標 良い方向 適切な会社
A 最高気温予報 RMSE 小さい方が良い Y社
B 降水の有無 スレットスコア 大きい方が良い Y社
C 降水確率予報 ブライアスコア 小さい方が良い Y社

以上より、利用者A、B、CはいずれもY社を選ぶのが適切です。

したがって、正解は⑤です。

■ 受験生がつまずくポイント

1. 平均誤差とRMSEを混同する

平均誤差は、予報が高め・低めにずれる傾向を見る指標です。

一方、RMSEは誤差の大きさを見る指標です。 最高気温の予報精度を比べるなら、RMSEを見ます。

2. すべての指標を「大きい方が良い」と考えてしまう

スレットスコアは大きい方が良いですが、RMSEやブライアスコアは小さい方が良い指標です。

指標ごとに良い方向を確認しましょう。

3. 降水の有無と降水確率を同じ指標で見てしまう

降水の有無は、雨が降ったか降らなかったかの二択予報です。

一方、降水確率予報は確率の予報なので、ブライアスコアで評価します。

4. 利用者の目的を読まずに表だけ見てしまう

この問題では、利用者A、B、Cが求めている予報がそれぞれ違います。

まず「何の予報精度を比べたいのか」を確認してから、対応する指標を見ることが大切です。

■ まとめ

  • 最高気温予報はRMSEで評価する
  • RMSEは小さいほど精度が良い
  • 降水の有無はスレットスコアで評価する
  • スレットスコアは大きいほど精度が良い
  • 降水確率予報はブライアスコアで評価する
  • ブライアスコアは小さいほど精度が良い
  • 利用者A、B、CはいずれもY社が適切

正解は⑤

利用者A：Y社
利用者B：Y社
利用者C：Y社

この問題で必ず押さえたいこと

最高気温予報
↓
RMSE
↓
小さい方が良い

降水の有無
↓
スレットスコア
↓
大きい方が良い

降水確率予報
↓
ブライアスコア
↓
小さい方が良い

予報精度の問題では、まず「何を評価するのか」を確認し、その目的に合う検証指標を選びましょう。

※ 本記事では、一般財団法人 気象業務支援センターより利用許諾を受けて、気象予報士試験問題を掲載しています。
問題文の著作権は一般財団法人 気象業務支援センターに帰属します。

以上、第61回 専門知識 問14の解説でした！

訂正・ご意見などありましたら、ぜひコメントで教えてください！
皆で最高の独学環境を作っていきましょう！