スカウト文面のABテストのやり方｜「二つ作って比べる」の前に、「一箇所だけ変える」「同じ層に同じ時期に送る」「何で判定するか」の三つを決める

スカウト文面を良くしたい。件名を変え、一段落目を変え、長さも変えた。返信は増えた気がするが、何が効いたのか分からない。ABテストという言葉は知っているが、送信数が少ないなかで、どう比べればよいか、何を変えればよいか、どれだけ送れば結論と言ってよいかが分からない。結論を先に書くと、スカウトのABテストは、「二つ作って比べる」の前に、「一箇所だけ変える」「同じ層に同じ時期に送る」「何で判定するか」の三つを決めることで成り立ちます。この三つが無いと、どちらが良かったかは分かっても、なぜ良かったかが分からず、次に活かせません。送信数が少ない場合は、統計の厳密さより、「一つ変えて、一つ見て、記録する」を繰り返す型として回します。効果を測る型の考え方は施策の効果を測る仕組みがないに、何を先に改善するかは開封率と返信率のどちらを先に改善するかにまとめています。

ABテストが成り立たない構造

スカウトのABテストが、やっても結論が出ないのは、次の構造で起きます。

構造の大半は、「比べる前に条件を決めていない」ことです。決めれば、少ない送信数でも意味のある比較になります。

比べる前に決める三つ

ABテストを始める前に、三つを決めます。

三つの要点は、「変えた箇所と、判定する指標が対応している」ことです。件名を変えて返信率で判定しても、件名は開封までにしか効かないので、判定になりません。件名は開封率で、一段落目と本文は返信率で、次の一歩は面談に至った率で判定します。

変える箇所の選び方

一度に一箇所だけ変えるので、どこから変えるかの順番が要ります。「どこで落ちているか」で決めます。

落ちている箇所が分からないなら、先に落ちている箇所を見つけます。スカウトの返信が来ない原因の切り分けに書いた三つ（読まれていない、読まれても響かない、届く相手が違う）で切り分けてから、変える箇所を決めます。切り分けずにABテストを始めると、効かない箇所を変えて「差が無かった」で終わります。

条件のそろえ方

AとBで、変える一箇所以外をそろえる方法です。

そろえ方の要点は、「振り分けを無作為にする」ことです。担当者が「この人にはAが合いそう」と選ぶと、選んだ時点で条件が崩れます。一人おき、または名簿の順で機械的に振り分けます。

判定の仕方

結果をどう読むかです。送信数が少ないスカウトでは、統計の厳密な検定は現実的でないことが多いので、次の考え方で判定します。

判定の要点は、「一回の結果で断定しない」ことと、「結論を型にする」ことです。ABテストは勝ち負けを決めるためではなく、自社の層に効く型を積み上げるためにやります。数字の細かい扱いや統計の考え方は、必要なら専門家に確認してください。

エラベルの見解

相談で最も多い失敗は、「新しい文面を作り、先月の旧文面の結果と比べて『新しいほうが良い』と判断していた」というものです。先月と今月で、送った相手の層も、媒体の状況も、送り主も違います。新しい文面が良かったのか、今月の相手が良かったのかは分かりません。同じ週に、同じ検索条件の候補者を一人おきに振り分け、件名だけ変えて送り、開封率で判定する形に変えたら、「件名の差は無く、一段落目の差が大きい」と分かりました。先月との比較では、件名を変え続けるところでした。

見ていて差がつくのは、担当者が「一箇所だけ変える」を守れるかです。文面を良くしたい担当者ほど、件名も一段落目も次の一歩も一度に変えたくなります。それをこらえて、一箇所ずつ、二〜三週間かけて順に試す担当者の文面は、三か月後に「なぜ効くか」が説明できる型になっています。

発注側にできるのは、担当者に「今週は何を変えて、何で判定しますか」と聞くことです。答えが一箇所と一指標なら、テストは成り立っています。

送信数が少ない場合の考え方

月に数十通しか送らない場合、AとBに分けると、それぞれ十数通です。差が偶然かどうかは、数の上では判定しにくい。それでもABテストをやる意味と、やり方です。

少ない送信数での要点は、「答えを急がない」ことです。月に数十通なら、一つの箇所の結論に一〜二か月かかります。それでも、一年で六〜十箇所の結論が積み上がり、文面は自社の層に合った型になります。何もせず感覚で変え続けるより、はるかに前に進みます。

記録の型

ABテストの記録に、最低限必要な項目です。

記録の要点は、「AとBの実際の文面を残す」ことです。「件名を変えた」だけでは、後から何を変えたか分かりません。文面そのものを残します。記録の表は、担当者と発注側が同じものを見られる場所に置きます。

外注する場合の範囲

スカウトのABテストを、スカウト代行に出す場合の範囲です。

出せる工程。 落ちている箇所の切り分け、変える箇所の順番の設計、AとBの文面の作成、相手の層の検索条件の設定と無作為の振り分け、送信の時期と時間帯の管理、送信、指標の記録、返信の内容と層の記録、判定、型にした結論の作成、次のテストの設計、月次の報告。

社内に残す判断。 判定の指標の承認（面談に至った率で見るなら、面談の記録を社内が出す）、テストで使う材料（一緒に働く人、働き方の事実など）の承認、送り主を変えるテストの可否、テストの期間と通数の上限。

外注の効きどころ。 ABテストは、「条件をそろえ、一箇所ずつ、記録しながら、二〜三週間ごとに回す」運用で、社内では「思いついたときに複数箇所を変え、記録が無い」になりやすい工程です。担当者が振り分けと記録を持ち、一箇所ずつ順に試せば、三か月で自社の層に効く型がいくつか残ります。担当者は複数の会社のテストを見ているので、「この層にはこの箇所から試す」の出発点を持ち込め、少ない送信数でも遠回りが減ります。

外注しても動かない場合。 一度に複数箇所を変えることを求める、一回の結果で断定することを求める、判定に要る面談の記録を社内が出さない、テストの期間を待てず毎週文面を変える。社内の判断で、代行を替えても直りません。

ABテストは、三つを決め、一箇所ずつ、条件をそろえて、記録しながら繰り返せば、少ない送信数でも型が積み上がります。外注は、振り分けと記録と順番の設計を担う手段です。

エラベルの見解

担当する側から見ると、ABテストの相談で最も多いのは、「テストの結果を、次の文面に使っていない」ことです。「一段落目に経歴の具体的な箇所を入れたほうが返信が来た」と分かったのに、次の役割の文面では、また定型の一段落目から始める。結論が型として残っていないからです。「この層には、一段落目に経歴の具体的な箇所」と一文で残し、次の文面を書くときに最初に読む。それだけで、テストは積み上がります。

テストは、勝ち負けではなく、自社の層に効く型を一つずつ増やす作業です。一つのテストの結果より、十個の結論が並んだ一覧のほうが、はるかに価値があります。

発注側にできるのは、月に一度、担当者に「今月、型として残った結論は何ですか」と聞くことです。答えが一つでもあれば、テストは前に進んでいます。改善を回す全体の型は採用の改善サイクルの回し方にも書いています。

まとめ

• 成り立たないのは複数箇所を同時に変える・相手が違う・時期が違う・指標が無い・少なすぎて偶然・記録が無い・次に活かさない・送り主が違う構造
• 始める前に一箇所だけ変える・同じ層に同じ時期に送る・何で判定するかの三つを決める。変えた箇所と指標を対応させる
• 変える箇所は落ちている箇所で決める。開封されないなら件名、返信が無いなら一段落目、面談に至らないなら次の一歩
• 条件は層・時期・時間帯・送り主・役割・媒体・個別化の深さ・通数をそろえ、振り分けは一人おきで無作為に
• 判定は差の大きさ・繰り返し・質・負けも記録・差が無いも結論・型にする・期限を切る。一回で断定しない
• 送信数が少ないなら型として回す・大きな差だけ・期間を延ばす・質で補う・箇所を絞る・他社の型を借りる。答えを急がない
• 記録は名前と期間・変えた箇所と実際の文面・指標・層と振り分け・通数・結果・判定・型にした結論
• 外注できるのは切り分け・順番・文面・振り分け・時期・送信・記録・判定・結論・次の設計・報告。社内に残るのは指標の承認・材料の承認・送り主の可否・期間と上限

よくある質問

何通送れば、ABテストの結論と言えますか

通数だけで決まる答えはありません。差が大きければ少ない通数でも傾向として扱え、差が小さければ多くの通数でも偶然の範囲です。実務では、「倍近い差」か「同じ比較を三回繰り返して同じ向き」を採用の目安にし、それ以外は「差が無い」か「繰り返す」にします。月に数十通なら、一つの箇所の結論に一〜二か月かけます。厳密な統計の判断が要る場合は、専門家に確認してください。

件名と一段落目を同時に変えたいのですが

同時に変えると、どちらが効いたか分かりません。順番に試します。開封されていないなら先に件名（開封率で判定）、開封されているなら先に一段落目（返信率で判定）。一つの結論が出てから、次に移ります。急ぎたい気持ちは分かりますが、同時に変えて「良くなった」で終わると、次の役割の文面でまた同じ迷いが起きます。一箇所ずつのほうが、結果として早く型が揃います。

代行の担当者に「ABテストをやっている」と言われましたが、本当か分かりません

三つを聞きます。「今週は何を一箇所変えていますか」「AとBはどう振り分けていますか」「何の指標で、いつ判定しますか」。一箇所、無作為の振り分け、一つの指標と判定の日、が答えられればテストは成り立っています。加えて、AとBの実際の文面と、記録の表を見せてもらいます。文面が残っていない、振り分けが「担当者が選んだ」、指標が後から決まる、のどれかなら、テストの形になっていません。担当者に求める改善の範囲は改善提案をどこまで求めるかに書いています。