AIによる候補者スクリーニングの精度｜「精度は何割か」ではなく、「基準が言葉になっているか」「見逃しと誤検知のどちらを許すか」「境目を人が見るか」で決まり、精度は自社の記録で測る

AIに候補者の経歴を渡して、要件に合うかを判定させれば、数千人の選別が短時間で終わる。速い。ただ、精度がどれだけあるのかが分からない。合う人を見逃していないか、合わない人を通していないか。一般に言われる精度の数字を見ても、自社の役割と要件に当てはまるのか分からない。結論を先に書くと、AIのスクリーニングの精度は、「精度は何割か」という一般の数字では分かりません。「要件が言葉になっているか」「見逃しと誤検知のどちらを許すか」「境目を人が見るか」の三つで決まり、精度は自社の記録（AIの判定と、人の判定と、面談以降の結果）を突き合わせて測ります。基準が曖昧なまま任せると、AIは曖昧な基準で高速に間違えます。自動化の線引きは自動化してよい範囲・いけない範囲に、絞りと順番の基準は母集団が広すぎるときの絞り方にまとめています。

精度が分からない構造

AIのスクリーニングの精度が分からず、任せられないか、任せて事故るのは、次の構造で起きます。

構造の大半は、「自社の要件と記録で測っていない」ことです。測れば、精度は分かり、使い方も決まります。

精度が決まる三つの要素

AIのスクリーニングの精度は、道具の性能よりも、次の三つで決まります。

三つの要点は、「道具を替える前に、この三つを整える」ことです。三つが整っていない状態で道具を替えても、精度は変わりません。整っていれば、道具の差は小さくなります。

見逃しと誤検知の選び方

「合う人を落とす（見逃し）」と「合わない人を通す（誤検知）」のどちらを許すかは、状況で決まります。

選び方の要点は、「どちらを許すかを、役割ごとに決める」ことです。決めると、AIの判定の閾値（どれくらい合っていれば通すか）が決まり、境目の幅も決まります。母集団の大きさとの関係は母集団が小さすぎるときの広げ方と母集団が広すぎるときの絞り方に書いています。

AIに任せる工程と人が見る工程

スクリーニングの工程を、AIと人で分けます。

分け方の要点は、「合う」「合わない」の両方を抜き取りで人が見ることです。「合う」だけ見ると誤検知は測れますが、見逃しは測れません。「合わない」も抜き取って見て、見逃しの率を測ります。抜き取りの数は、判定の数と稼働で決めます。

エラベルの見解

相談で最も多い失敗は、「AIのスクリーニングを入れ、『合う』と判定された候補者だけに送っていたら、返信は来るが面談以降で落ち続け、社内の人事が『合わない』と判定された候補者を後から見たら、要件を満たす人が多く落とされていた」というものです。要件が「経験の中身」で幅があったのに、AIは経歴の職種名で判定していました。要件を「経歴のどの記述で判定するか」まで言葉にし、見逃しを減らす設定にし、「合わない」を抜き取りで人が見る工程を入れたら、面談に至る数が増えました。AIは、基準が曖昧なまま、高速に間違えていました。

見ていて差がつくのは、担当者が「AIの判定を疑う工程」を持っているかです。AIの判定をそのまま使う担当者と、「月に一度、『合わない』の中から抜き取って見て、見逃しが無いかを確認します」と言う担当者がいます。後者は、AIの精度を自社の記録で把握しており、基準を直せます。

発注側にできるのは、担当者に「AIが『合わない』と判定した候補者を、月に何人、人が見ていますか」と聞くことです。

精度の測り方

AIのスクリーニングの精度を、自社の記録で測る方法です。

測り方の要点は、「一般の数字ではなく、自社の抜き取りで測る」ことです。月に数十人を抜き取って人が見れば、誤検知と見逃しの率が出ます。出れば、基準を直す方向が決まります。検証の単位はどの単位で効果を検証するかに書いています。

属性による偏りの確認

AIのスクリーニングは、意図せず属性（年齢、性別、国籍、学歴など）に偏ることがあります。確認の観点です。

偏りの要点は、「渡す情報から属性を外す」ことです。属性を渡さなければ、直接の偏りは起きにくい。ただし、代理の指標（卒業年→年齢、名前→性別など）から間接に偏ることがあるので、結果の構成を見ます。属性の扱いは差別的表現になっていないかの確認に書いています。法令上の扱いは専門家に確認してください。

外注する場合の範囲

AIによるスクリーニングを、スカウト代行に出す場合の範囲です。

出せる工程。 要件の「経歴の記述で判定できる形」への言葉化の下書き、見逃しと誤検知のどちらを許すかの提案、AIの判定の設定と一次の判定の実施、「迷う」の判定、「合う」「合わない」の抜き取りの確認、送ってはいけない相手の照合と一覧に無い相手の確認、精度の記録と月次の突き合わせ、基準の修正の提案、属性の偏りの確認、渡す情報の範囲の設計。

社内に残す判断。 要件の定義（外せない一つ、経歴の特徴）、見逃しと誤検知の優先の決定、基準の承認、道具の選定と契約、AIに個人情報を渡すことの可否と範囲（社内の方針、専門家との連携）、属性の扱いと法令の確認（専門家との連携）、面談以降の記録の提供。

外注の効きどころ。 AIのスクリーニングは、「要件を言葉にし、優先を決め、境目を人が見て、抜き取りで測り、基準を直す」運用で、社内では「道具の精度を信じる」か「怖くて使わない」になりやすい工程です。担当者が要件を言葉にし、設定し、境目と抜き取りを見て、月次で突き合わせれば、AIの判定は自社の要件に合っていきます。担当者は複数の会社でAIの判定の癖を見ているので、「この要件はAIが読み違える」「この設定は見逃しが増える」を持ち込めます。ただし、要件の定義と、優先の決定と、個人情報と法令の確認は、社内と専門家でしか行えません。

外注しても動かない場合。 要件を「良い人」のまま渡す、見逃しと誤検知の優先を決めない、抜き取りの確認の稼働を認めない、面談以降の記録を出さない、属性の確認をしない。社内の判断で、代行を替えても直りません。

AIのスクリーニングの精度は、要件の言葉化と、優先の決定と、境目の人の確認で決まり、自社の抜き取りで測って直せます。外注は、言葉化と設定と境目と抜き取りと突き合わせを担う手段です。

エラベルの見解

担当する側から見ると、AIのスクリーニングの相談で最も多いのは、「要件が『職種名』で渡されている」ことです。「〇〇マネージャーの経験者」で判定させると、AIは経歴に「〇〇マネージャー」とある人を通し、無い人を落とします。同じ仕事を別の名前でしてきた人は、全員「合わない」に入ります。人が見れば拾える人を、AIは高速に落とします。

要件を「経歴のどの記述で判定するか」まで言葉にする。「顧客との調整の経験は、営業・PM・カスタマーサクセスの職歴の記述で判定する」のように。それだけで、AIの見逃しは大きく減ります。

発注側にできるのは、要件を職種名ではなく、経験の中身で担当者に渡すことです。それが、AIの精度の出発点です。

まとめ

• 分からないのは一般の数字・要件が言葉でない・見逃しと誤検知を分けない・判定を見ない・測る記録が無い・偏りを見ない・道具の説明を信じる構造
• 精度は要件が言葉になっているか・見逃しと誤検知のどちらを許すか・境目を人が見るかの三つで決まる。道具の差は小さい
• 許すほうは母集団が小さい→誤検知・大きい→見逃し・面談の稼働が少ない→誤検知を減らす・枠に余裕→誤検知を許す・厳密な要件→誤検知を減らす・幅のある要件→誤検知を許す
• 分担は要件と基準は人・一次の判定はAI・合うと合わないの抜き取りは人・迷うは人・照合はAI＋人・最終は人・記録はAI＋人
• 測るのは誤検知の率・見逃しの率・人との一致・面談以降との突き合わせ・境目の幅・時系列。自社の抜き取りで
• 偏りは渡す情報から属性を外す・理由に属性が無いか・結果の構成・代理の指標・定期的な確認。法令は専門家に
• 外注できるのは言葉化・優先の提案・設定と判定・迷うの判定・抜き取り・照合・記録と突き合わせ・修正の提案・偏りの確認・範囲の設計。社内に残るのは要件・優先・基準の承認・道具・個人情報・法令・面談以降の記録

よくある質問

道具の説明に「精度〇〇%」とあります。信じてよいですか

その数字は、道具の側の条件（役割、要件、候補者の層、判定の基準）で測られたもので、自社の役割と要件での精度ではありません。参考にはなりますが、自社での精度は、自社の抜き取りで測ります。導入の前に、一つの役割で、AIの判定と人の判定を並べて一致を見る試行をすると、自社での精度の目安が出ます。道具の仕様や数字の根拠は、公式の案内で確認してください。

抜き取りで人が見る数は、どれくらいが目安ですか

判定の数と、人の稼働で決めます。月に数百人を判定するなら、「合う」から数十人、「合わない」から数十人を見れば、誤検知と見逃しの率の傾向は出ます。数千人なら、割合を下げても数は確保できます。目安として、率の傾向が二〜三か月で安定するまでは多めに、安定したら減らします。統計的な厳密さが要る場合は、専門家に確認してください。

AIに「合わない」と判定された候補者に、送ってはいけませんか

AIの判定は一次の判定で、最終の判断ではありません。「合わない」の抜き取りで見逃しが見つかれば、その候補者には送ります。また、見逃しの率が高いなら、基準を直します。AIの「合わない」を「送らない」と同一視すると、母集団が要件より狭くなります。AIの判定は、人が見る候補者の数を減らすためのもので、送る相手を決めるものではありません。