【第54回 気象予報士試験 専門知識】問14 MEとRMSEによる予報精度の評価をわかりやすく解説
こんにちは！今回は第54回 気象予報士試験 専門知識 問14を解説します！
この問題は、最高気温予報の検証について、平均誤差（ME）と2乗平均平方根誤差（RMSE）を使って判断する問題です。
受験生がつまずきやすいのは、MEとRMSEの違いです。
MEは誤差の「平均的な偏り」を見る指標で、RMSEは誤差の「大きさ」を見る指標です。 特にMEは、プラスとマイナスの誤差が打ち消し合うため、MEが小さいからといって必ず精度が高いとは限りません。
この問題で重要なポイント
- MEは平均誤差で、予測値−実況値の平均で求める。
- MEはプラスとマイナスの誤差が打ち消し合う。
- RMSEは誤差を2乗して平均し、平方根をとる。
- RMSEは誤差の大きさを評価する指標である。
- RMSEは値が小さいほど予報精度がよい。
- 夏日は日最高気温25℃以上の日である。
- 真夏日は日最高気温30℃以上の日である。
- 条件に合う日だけを抜き出して計算することが重要である。
■ 問題文
表は、ある地点の1日〜10日の日毎の最高気温の実況値、モデルXおよびモデルYによる最高気温の予測値を示したものである。 予測値の検証について述べた次の文(a)〜(c)の正誤の組み合わせとして正しいものを、下記の①〜⑤の中から1つ選べ。
(a) 実況で夏日になった日のみを抜き出して、最高気温予測の系統的な偏りを平均誤差(ME)により求めると、モデルXの予測値は実況値より低めであった。
(b) 10日間の最高気温予測の精度を2乗平均平方根誤差(RMSE)により求めると、モデルYの方がモデルXより予測精度がよい。
(c) 実況で真夏日になった日のみを抜き出して最高気温予測の精度を2乗平均平方根誤差(RMSE)により求めると、モデルXの方がモデルYより予測精度がよい。
| 1日 | 2日 | 3日 | 4日 | 5日 | 6日 | 7日 | 8日 | 9日 | 10日 | |
|---|---|---|---|---|---|---|---|---|---|---|
| 実況(℃) | 19 | 24 | 29 | 31 | 35 | 37 | 34 | 30 | 24 | 18 |
| モデルX(℃) | 18 | 25 | 26 | 30 | 34 | 36 | 35 | 32 | 26 | 18 |
| モデルY(℃) | 19 | 23 | 27 | 31 | 35 | 37 | 37 | 32 | 24 | 19 |
| 選択肢 | (a) | (b) | (c) |
|---|---|---|---|
| ① | 正 | 正 | 正 |
| ② | 正 | 正 | 誤 |
| ③ | 正 | 誤 | 誤 |
| ④ | 誤 | 正 | 正 |
| ⑤ | 誤 | 誤 | 誤 |
■ 解答
①
(a) 正
(b) 正
(c) 正
■ 解き方の方針
この問題は、まずMEとRMSEの違いを分けて考えます。
ME
↓
予測値−実況値の平均
↓
高め・低めの偏りを見る
RMSE
↓
誤差を2乗
↓
平均
↓
平方根
↓
誤差の大きさを見る
さらに、(a)は夏日、(c)は真夏日だけを抜き出す必要があります。
夏日
↓
25℃以上
真夏日
↓
30℃以上
■ 補足講義：MEとRMSEの違い
予報精度の評価では、MEとRMSEの違いが非常に重要です。
| 指標 | 正式名称 | 何を見るか | 注意点 |
|---|---|---|---|
| ME | 平均誤差 | 予測が高めか低めか | 正負の誤差が打ち消し合う |
| RMSE | 2乗平均平方根誤差 | 誤差の大きさ | 大きな誤差ほど強く効く |
ここで止まりやすいポイント
MEは「偏り」を見る指標です。 MEが0に近くても、正負の誤差が打ち消し合っているだけのことがあります。
一方、RMSEは誤差を2乗するため、誤差の大きさを評価しやすい指標です。
■ (a) 夏日のモデルXのMEは低め？
(a)は正しいです。
夏日は、日最高気温が25℃以上の日です。
実況で夏日になった日は、3日、4日、5日、6日、7日、8日です。
| 日 | 実況 | モデルX | 誤差 X−実況 |
|---|---|---|---|
| 3日 | 29 | 26 | -3 |
| 4日 | 31 | 30 | -1 |
| 5日 | 35 | 34 | -1 |
| 6日 | 37 | 36 | -1 |
| 7日 | 34 | 35 | +1 |
| 8日 | 30 | 32 | +2 |
誤差の合計は、-3−1−1−1＋1＋2＝-3です。
6日分で平均すると、MEは-3÷6＝-0.5℃です。
ME = -0.5℃
↓
モデルXは実況より低め
したがって、(a)は正しいです。
■ (b) 10日間のRMSEはモデルYの方がよい？
(b)は正しいです。
RMSEは、誤差を2乗して平均し、その平方根をとります。
| モデル | 誤差の2乗和 | 平均 | RMSE |
|---|---|---|---|
| モデルX | 23 | 2.3 | 約1.52℃ |
| モデルY | 19 | 1.9 | 約1.38℃ |
RMSEは小さいほど予報精度がよいので、10日間全体ではモデルYの方がモデルXより予測精度がよいといえます。
モデルX RMSE 約1.52℃
モデルY RMSE 約1.38℃
↓
モデルYの方が小さい
↓
モデルYの方が精度がよい
したがって、(b)は正しいです。
■ 補足講義：RMSEは小さいほどよい
RMSEは、予測値と実況値のずれの大きさを表します。
そのため、値が小さいほど、実況に近い予報だったと判断できます。
ここがひっかけ
RMSEは「大きいほど良いスコア」ではありません。
誤差なので、小さいほど良いと覚えましょう。
■ (c) 真夏日だけならモデルXの方がよい？
(c)は正しいです。
真夏日は、日最高気温が30℃以上の日です。
実況で真夏日になった日は、4日、5日、6日、7日、8日です。
| 日 | 実況 | モデルX | モデルY |
|---|---|---|---|
| 4日 | 31 | 30 | 31 |
| 5日 | 35 | 34 | 35 |
| 6日 | 37 | 36 | 37 |
| 7日 | 34 | 35 | 37 |
| 8日 | 30 | 32 | 32 |
この5日間だけでRMSEを計算すると、モデルXの方がモデルYより小さくなります。
| モデル | 誤差の2乗和 | 平均 | RMSE |
|---|---|---|---|
| モデルX | 8 | 1.6 | 約1.26℃ |
| モデルY | 13 | 2.6 | 約1.61℃ |
真夏日だけで比較
↓
モデルX RMSE 約1.26℃
モデルY RMSE 約1.61℃
↓
モデルXの方が精度がよい
したがって、(c)は正しいです。
■ 選択肢確認表
| 選択肢 | 判定 | 理由 |
|---|---|---|
| (a) | 正 | 夏日のみでモデルXのMEを求めると-0.5℃となり、実況より低めの予測であるため。 |
| (b) | 正 | 10日間全体のRMSEはモデルYの方が小さく、予測精度がよいため。 |
| (c) | 正 | 真夏日のみでRMSEを求めると、モデルXの方がモデルYより小さく、予測精度がよいため。 |
以上より、組み合わせは(a)正、(b)正、(c)正です。
したがって、正解は①です。
■ 受験生がつまずくポイント
1. MEとRMSEを混同する
MEは予報の偏りを見る指標、RMSEは誤差の大きさを見る指標です。 同じ「誤差」でも役割が違います。
2. MEが小さいほど精度がよいと思ってしまう
MEは正負の誤差が打ち消し合います。 MEだけで予測精度の良し悪しを判断するのは危険です。
3. RMSEの大小を逆に読む
RMSEは誤差なので、小さいほどよいです。 スコアのように大きいほどよいと考えないようにしましょう。
4. 夏日と真夏日の条件を間違える
夏日は25℃以上、真夏日は30℃以上です。 この問題では、まず条件に合う日だけを正しく抜き出すことが重要です。
5. 全期間の評価と条件付き評価を混同する
10日間全体ではモデルYの方が良くても、真夏日だけで見るとモデルXの方が良くなります。 評価対象を変えると結果も変わることがあります。
6. 計算を途中で省略して判断してしまう
この問題は、雰囲気ではなく計算で判定する問題です。 誤差を表にして、2乗和まで丁寧に確認しましょう。
■ まとめ
- MEは平均誤差で、予測の高め・低めの偏りを見る。
- RMSEは誤差の大きさを見る指標で、小さいほど精度がよい。
- 夏日は日最高気温25℃以上の日である。
- 真夏日は日最高気温30℃以上の日である。
- 夏日のモデルXのMEは-0.5℃で、実況より低めである。
- 10日間全体では、モデルYのRMSEの方が小さい。
- 真夏日のみでは、モデルXのRMSEの方が小さい。
正解は①
この問題で必ず押さえたいこと
ME
↓
予測値−実況値の平均
↓
高め・低めを見る
RMSE
↓
誤差を2乗
↓
平均
↓
平方根
↓
小さいほどよい
夏日
↓
25℃以上
真夏日
↓
30℃以上
※ 本記事では、一般財団法人 気象業務支援センターより利用許諾を受けて、気象予報士試験問題を掲載しています。
問題文の著作権は一般財団法人 気象業務支援センターに帰属します。
以上、第54回 専門知識 問14の解説でした！
訂正・ご意見などありましたら、ぜひコメントで教えてください！
皆で最高の独学環境を作っていきましょう！
