どの単位で効果を検証するか｜「全体の返信率」で見ず、「役割×層×文面の型×媒体」の四つの軸で切り、変えた軸に合わせて単位を決める

スカウトの効果は見ている。ただ、見ているのは「今月の返信率」という一つの数字で、先月より上がった、下がった、までは分かるが、なぜかは分からない。役割ごとに見るべきか、媒体ごとか、文面ごとか、候補者の層ごとか。単位が決まっておらず、報告のたびに切り口が変わる。結論を先に書くと、検証の単位は、「役割」「候補者の層」「文面の型」「媒体」の四つの軸で切り、「何を変えたか」に合わせて決めます。文面を変えたなら文面の型の単位で、媒体を足したなら媒体の単位で、層を広げたなら層の単位で見る。全体の返信率は、四つの軸の合計なので、それだけを見ても理由は分かりません。見る指標そのものはスカウト運用で見るべき指標に、週次の見方は週次の振り返りで見る数字にまとめています。

単位が決まらない構造

検証の単位が決まらず、数字を見ても理由が分からないのは、次の構造で起きます。

構造の大半は、「変えたものと、見る単位が対応していない」ことです。対応させれば、数字は理由を語ります。

検証の四つの軸

スカウトの効果を切る軸は、四つです。

四つの軸は、送信の一通ごとに記録できます。「この一通は、役割A、層B、文面の型C、媒体D」。記録があれば、後からどの軸でも切れます。無ければ、切れません。単位の議論の前に、記録に四つの軸が入っているかを見ます。

変えた軸で単位を決める

見る単位は、「何を変えたか」で決めます。

要点は、「変えた軸だけを動かし、他の軸は固定して見る」ことです。文面を変えた月に媒体も足すと、文面の効果と媒体の効果が混ざり、どちらも分かりません。一か月に動かす軸は一つが原則です。一つの軸の中で二つを比べるやり方はスカウト文面のABテストのやり方に書いています。

単位を細かくしすぎる問題

単位は細かいほど良いわけではありません。細かくすると、一つの枡に入る通数が減り、偶然しか見えなくなります。

粗さの目安は、「一つの枡に、判断に足りる通数が入るか」です。月の送信数が数百通なら二軸まで、数十通なら一軸まで。それより細かく切るなら、期間を延ばして通数を貯めます。細かく切りたくなったときは、「その差で何を判断するのか」を先に決め、判断に足りる通数があるかを見ます。

単位ごとの見方

各軸で切ったときの、読み方です。

読み方の要点は、「返信率の高低で単位を評価しない」ことです。役割も層も媒体も、それぞれ条件が違います。同じ単位の中で、変えた前後を比べるのが検証です。

エラベルの見解

相談で最も多い失敗は、「毎月の報告が『全体の返信率』一つで、下がった月に文面を全部作り直し、上がった月に何もせず、半年経って何が効いたか誰も説明できない」というものです。送信の記録に「役割」しか無く、文面の型も層も残っていなかったので、後から切ることもできませんでした。記録に四つの軸を足し、翌月から「今月は一段落目の型を変える。見るのは文面の型別の返信率、役割と層と媒体は固定」と決めて回したら、三か月で「この役割のこの層には、この一段落目の型」という結論が三つ残りました。検証は、単位を決めた瞬間に始まります。

見ていて差がつくのは、担当者が「今月は何の軸を動かし、何の単位で見るか」を月の初めに言えるかです。「返信率を上げます」と言う担当者と、「今月は媒体を固定し、経験の深い層に絞って、材料の型を二つ比べます。見るのは層×文面の型の返信率です」と言う担当者がいます。後者の報告は、月末に理由が付いています。

発注側にできるのは、報告を受けるとき、「その数字は、何の単位ですか。今月、何を変えましたか」と聞くことです。

記録の持ち方

四つの軸で切れる記録の、最低限の形です。

記録の要点は、「文面の型に名前を付ける」ことです。「件名A-1」「本文B-3」のように名前を付け、文面そのものは別に保管します。名前が無いと、「先月の文面」「新しい文面」で会話が進み、後から切れません。記録の全体の残し方は送信ログの残し方に書いています。

外注する場合の範囲

検証の単位の設計を、スカウト代行に出す場合の範囲です。

出せる工程。 送信の記録への四つの軸の追加、候補者の層の区分の設計、文面の型への名前付けと保管、月ごとに動かす軸の計画、単位を固定した検証の実施、単位ごとの集計と読み、単位の粗さの調整（通数に応じて）、時系列の整備、月次の報告での「何の単位で、何を変えたか」の明示、結論の型化。

社内に残す判断。 候補者の層の区分の承認（自社が採りたい層の定義）、役割ごとの優先順位、動かす軸の順番の承認、面談以降の記録（社内で起きる選考の結果）の提供。

外注の効きどころ。 検証の単位は、「記録に軸を持ち、月ごとに動かす軸を決め、固定して見る」運用で、社内では「全体の数字を見て、思いついたものを変える」になりやすい工程です。担当者が記録の型を持ち込み、動かす軸を一つずつ計画し、単位を固定して報告すれば、三か月で理由の付いた結論が残ります。担当者は複数の会社の検証を見ているので、「この送信数ならこの粗さ」「この役割ならまず層の軸」という出発点を持ち込めます。

外注しても動かない場合。 面談以降の結果を社内が記録しない（面談に至った率が出せない）、一か月に複数の軸を動かすことを求める、全体の返信率だけで評価する、層の区分を決めない。社内の判断で、代行を替えても直りません。

検証の単位は、四つの軸を記録に持ち、変えた軸に合わせて決め、他を固定して見れば、数字が理由を語ります。外注は、記録の型と動かす軸の計画を担う手段です。

エラベルの見解

担当する側から見ると、単位の相談で最も多いのは、「役割別では見ているが、層別では見ていない」ことです。同じ役割でも、経験の深い層と浅い層では、効く文面が違います。役割別の返信率が「まあまあ」に見えるとき、層別に切ると、深い層には効いていて、浅い層にはほとんど効いていない、ということがよくあります。役割別の数字は、それを隠します。

層の区分は、細かくなくて構いません。「経験の深さで二つ」「現職の業種で二つ」程度から始めれば、十分に見えます。区分を決めるのは社内で、「どの層を採りたいか」の答えがそのまま区分になります。

発注側にできるのは、「この役割で、採りたい層は何か」を担当者に言葉で伝えることです。それが検証の単位の出発点になります。

まとめ

• 決まらないのは全体の数字しか無い・切り口が変わる・変えたものとずれている・細かすぎ・粗すぎ・記録に軸が無い・目的が無い構造
• 軸は役割・候補者の層・文面の型・媒体の四つ。一通ごとに記録できる
• 単位は変えた軸で決める。件名なら文面の型別で開封率、本文なら型別で返信率、層を変えたなら層別、媒体を足したなら媒体別。一か月に動かす軸は一つ
• 粗さは一つの枡に判断に足りる通数が入るかで決める。数十通なら一軸、数百通なら二軸。細かくするなら期間を延ばす
• 読み方は返信率の高低で単位を評価しない。同じ単位の中で、変えた前後を比べる
• 記録は送信日・役割・層・文面の型・媒体・送り主・開封・返信・面談・その後。文面の型に名前を付ける
• 外注できるのは軸の追加・層の区分・型の名前付け・軸の計画・固定した検証・集計と読み・粗さの調整・時系列・報告・型化。社内に残るのは層の承認・優先順位・軸の順番・面談以降の記録

よくある質問

送信数が月に数十通しかありません。どの単位で見ればよいですか

一軸までです。役割が一つなら、層別か文面の型別のどちらか一つで切り、他は固定します。それでも一つの枡に十数通なので、一か月では偶然の範囲です。同じ単位で二〜三か月続けて通数を貯め、傾向として読みます。全体の返信率よりは、はるかに理由が見えます。数が少ないときの考え方はスカウト文面のABテストのやり方の「送信数が少ない場合」にも書いています。

代行のレポートは媒体別の返信率だけです。足りていますか

媒体別は、四つの軸の一つです。媒体を変えていない月に媒体別だけを見ても、理由は分かりません。「今月は何を変えたか」に対応する単位を足してもらいます。文面を変えたなら文面の型別、層を変えたなら層別。加えて、面談に至った率と、返信した人の層を入れてもらいます。返信率だけでは媒体は比べられません。レポートに入れてもらう項目の全体はレポートに入れてもらう項目に書いています。

役割ごとに返信率が大きく違います。低い役割は文面が悪いのですか

役割ごとに、候補者の層の広さと、市場での競争が違います。返信率の高低だけで、文面の良し悪しは判断できません。低い役割は、同じ役割の中で、層別か文面の型別に切り、変えた前後で比べます。役割をまたいで返信率を比べるのは、条件が違いすぎて検証になりません。役割ごとの取りにくさの構造は採用ファネルのどこが詰まっているか分からないにも書いています。