ROC曲線は、二値分類器を評価する最も一般的な方法の1つです。ところが、その名前であるReceiver Operating Characteristic(受信者操作特性)からは、実際に何を測っているのかがまったくわかりません。名前の由来を掘り下げてみると、それが曲線そのものを理解する入り口として役に立ちます。また、ふつう曲線の上に描かれる「ランダムな推測」のベースラインは、よくある大ざっぱな説明が示すよりも、ずっと厳密な意味を持っています。
なぜ「Receiver Operating Characteristic」と呼ばれるのか
この言い回しは凝りすぎた学術用語のように聞こえますが、実は歴史の名残です。コンピュータ科学者がつくった言葉ではありません。第二次世界大戦中のイギリスのレーダー操作員に由来します。彼らは、画面上の本物の敵機を、鳥やノイズからどれだけうまく見分けられているかを表す方法を必要としていました。
この言い回しの各単語は、元のレーダーの仕組みにも、後にそれを借用した機械学習のワークフローにも、そのまま対応しています。
- Receiver(受信者) — 当時: 本物の航空機を鳥や雲から見分けようとする操作員とレーダー装置。現在: 目的のクラス(たとえばスパム)を背景のノイズ(たとえば通常のメール)から見分けようとする二値分類器。
- Operating(操作) — 当時: ノイズや雨を除くために感度のダイヤルを回すこと。現在: 決定しきい値を動かすこと。たとえば分類の境目を0.5から0.7に変えて、モデルがどれだけ積極的に「陽性」と判定するかを調整します。
- Characteristic(特性) — 当時: ダイヤルの設定ごとに、検出できた航空機と誤報の数を示したグラフ。現在: 曲線そのもの。あらゆるしきい値にわたる、真陽性率と偽陽性率のトレードオフです。
つまり「Receiver Operating Characteristic」とは、もともと装置を調整したときに、レーダー操作員がどれだけうまく判別できるかという意味にすぎませんでした。現代の言葉に置き換えれば、決定しきい値を一方の端からもう一方の端まで動かしたときの、モデルの性能のプロファイルです。
このトレードオフを形づくった状況は切実なものでした。1941年のロンドン大空襲(ブリッツ)のさなか、イギリスのレーダー操作員は、画面上の輝点が爆撃機なのか鳥の群れなのかを、その場で判断しなければなりませんでした。感度が高すぎれば空襲警報の誤報が鳴り、大きな混乱を招いて工場の生産が止まります。感度が低すぎれば、警告のないまま爆弾が落ちてきます。彼らが描いた曲線は、このトレードオフのもとで最適なダイヤルの設定を見つけるための道具でした。1950年代には心理学者が人間の知覚を研究するために同じ手法を取り入れ、やがて分類器を評価する方法として機械学習にもたどり着きました。名前だけが、ずっと更新されないままだったのです。
曲線の読み方
ROC曲線は、2つの率を互いに対してプロットしたものです。
曲線上のどの点も、ある1つの決定しきい値に対応しています。しきい値が1.0のとき、モデルは一度も「陽性」と予測しないので、FPRもTPRも0になります。これが左下の角、です。しきい値を下げていくと、モデルはより多くのケースを陽性と判定しはじめます。真陽性をより多く捕まえる(TPRが上がる)一方で、陰性を誤って陽性と判定することも増えます(FPRも上がる)。しきい値が0.0になると、モデルはすべてを陽性と判定し、右上の角に到達します。ROC曲線とは、この掃引をからまで1本の連続した線として描いたものにすぎません。
下の図は、AUC(曲線下面積)が0.98の分類器のROC曲線で、デフォルトのしきい値0.5に対応する点を赤で示しています。

このような曲線からは、次のようなことが読み取れます。
- 曲線が左上の角に寄るほど良い。 その角はで、誤報をまったく出さずに、すべての真陽性を捕まえている状態です。
- からへの対角線は「スキルなし」のベースラインです。 予測が真のラベルについて実質的な情報を何も持たない分類器を表しています。対角線より左上にふくらむ曲線はベースラインより良く、下にある曲線はベースラインより悪いことになります。
- AUCは曲線全体を1つの数値にまとめたものです。 ランダムに選んだ陽性の例を、ランダムに選んだ陰性の例よりも上位に順位づける確率です。AUCが0.5なら対角線と変わらず、1.0なら完全に分離できていることを意味します。
この対角線のベースラインは、ふつう「ランダムな推測」と説明されます。そうなると当然、ここでいうランダムな推測とは正確には何を意味するのか、という疑問が湧きます。
「ランダムな推測」とは実際には何を意味するのか
ROC曲線上のの線はランダムな推測を表す、とよく言われますが、この言い方は実際にある微妙な点を見過ごしています。「ランダムな推測」にはいくつかの意味がありえます。コインを投げて、陽性か陰性かを同じ確率で推測する。あるいは、常に多数派のクラスを推測する。この2つは同じには聞こえませんし、クラスに偏りがある場合、後者は良い性能を出しているようにさえ見えることがあります。では、なぜそれらがすべて同じ対角線上に乗るのでしょうか。
正確な定義。 ROC曲線上の点は、あるしきい値におけるです。対角線は、特定の種類の分類器から生まれます。予測ラベルが真のラベルとは独立に生成される分類器、つまり特徴量を見ていないか、出力がと相関する情報をまったく持たない分類器です。
形式的に、分類器が真のクラスとは独立に、ある確率で「陽性」を出力するとします。すると、
はにまったく依存しないので、実際のクラス分布がどうであれ、どちらもに等しくなります。を0から1まで動かすと、という直線、つまり対角線上のすべての点をたどります。コイン投げの場合が最もわかりやすい例です。なら、となり、点に落ち着きます。直感どおり、ちょうど対角線上です。
面白くなるのは「常に多数派のクラスを推測する」場合です。 データの90%が陰性、10%が陽性で、モデルが常に陰性と予測する(「陽性」の)とします。
これは点で、やはりちょうど対角線上にあります。この戦略の正解率は90%で、「とても良い」ように聞こえます。しかしTPRとFPRは正解率ではありません。どちらも1つのクラスの中だけで計算されます。TPRは実際に陽性であるグループを条件とし、FPRは実際に陰性であるグループを条件とします。クラスの偏りは各グループに入るサンプルの数を変えますが、入力をまったく無視する分類器の条件つきの率は変えません。そのため、正解率を水増しするクラスの偏りは、ROCの計算からは完全に打ち消されるのです。
クラスに偏りがあるとき、生の正解率よりもROC-AUCが(そしてROCが向かない場面では適合率・再現率曲線が)好まれるのは、まさにこのためです。「常に多数派を推測する」という縮退した分類器は、正解率ではとても良く見えますが、ROC空間ではスキルなしの対角線上の角に位置し、情報を持たないことが正しく明らかになります。
一般的にまとめると: スコアがと統計的に独立な分類器は、コイン投げでも、常に陽性でも、常に陰性でも、さらには真のクラスの事前確率に合わせて偏らせたコインでも、ちょうど対角線上に乗ります(期待値の上では。有限のサンプルから描いたROC曲線は、対角線のまわりでぶれます)。対角線上にないのは、たとえわずかでも、と相関する本物の情報をスコアが持っている分類器です。そして、まさにそれが曲線を左上へとふくらませるのです。
まとめ
「Receiver Operating Characteristic」という名前は第二次世界大戦の名残ですが、さかのぼってみると驚くほど正確な説明になっています。操作員がレーダーのダイヤルを調整するのとまったく同じように、しきい値を調整したときの性能のプロファイルなのです。そして、この曲線上の対角線のベースラインは、コイン投げや多数派クラスの予測といった特定の推測の戦略についてのものではありません。出力が真のラベルと統計的に独立しているあらゆる戦略についてのものです。だからこそ、その2つの例も、それに類するすべての戦略も、クラスの偏りに関係なく同じ線の上に乗ります。これはまた、生の正解率が人知れず破綻するクラスの偏りのもとでも、ROC-AUCが指標として持ちこたえる根本的な理由でもあります。