観測された事実だけを、直感的に伝える。
予測が当たるかどうかを調べるのは、思ったより難しい作業です。 やり方をまちがえると、当たっていないのに当たっているように見えてしまいます。 実際、検証の途中で二度そういう状態に陥りました。
期間を完全に分ける
予測のしくみを決めるのに使ったのは2000〜2011年のデータです。 検証には2012〜2022年を使いました。この11年分は、しくみを決めるときに一度も見ていません。
なぜここまで厳格にするかというと、条件をいろいろ変えて試すと、 本当は何の情報もなくても、そのうち一つくらいは当たったように見えてしまうからです。 実際に一度、条件を7通り試して「当たった」と思った結果が、 未使用のデータでは再現しませんでした。
先に基準を決めてから調べる
検証を実行する前に、「この数字がこうなったら成功、そうでなければ失敗」を文書に書いて固定しました。 結果を見てから基準を動かせば、どんな結果でも成功にできてしまうからです。
「どこで起きやすいか」と「いつ起きるか」を混ぜない
これが最大の落とし穴でした。
地震の多い地域は、当然ながら地震がよく起きます。 そういう地域を「危険」と表示すれば、それだけで「当たっている」ように見えます。 しかしそれは地図を見れば分かることであって、予測ではありません。
ためしに、時間的な予測能力をまったく持たないでたらめな数値で試したところ、 ふつうの検定では「統計的に有意」という結果が出てしまいました。 地域ごとの地震の多さの違いを拾っているだけなのに、です。
そこで、地域ごとの地震の多さはそのままにして、時間の順序だけを入れ替える方法で比較しました。 これなら「いつ起きるか」を当てられているかだけを問えます。 このページで報告している結果は、すべてこの方法によるものです。
当たり外れではなく、確率の質で測る
「当たった・外れた」で数えると、情報を大量に捨てることになります。 かわりに、実際に起きたことに対して、どれだけ適切な確率を割り当てられていたかを測っています。 地震予測の研究で標準的に使われている評価方法です。