HackⅡ（AI Recommendation Intelligence）の測定とは、AI検索での自社の見え方を、重要質問の体系設計・証拠保存・同条件での競合比較・施策後の再測定という循環として実行し、検証可能な記録として残す活動です。 このページでは、HackⅡが何をどう測り、何を数えず、どのデータを公開しないかを開示します。導入をご検討中の方だけでなく、内製で測定を設計する方の参考になるよう、方針をそのまま書いています。
この記事で分かること
- HackⅡの測定の設計思想（なぜ単発の目視確認を採用しないか）
- 4つの測定フレームそれぞれの「数えるもの／数えないもの」
- 「実測ゼロ」と「測定失敗」を区別して記録する方針
- 顧客データ・公開調査・成果保証に関するデータポリシー
- 現在の提供ステータスと、内製で代替できる範囲
HackⅡの測定の設計思想
HackⅡの測定は、「ChatGPTに聞いてみたら出た／出なかった」という単発の目視確認を採用しません。AI回答は同じ質問でも実行ごとに変動する確率的な出力であり、1回の結果には「たまたま」が含まれるためです。この前提の詳細は「AI検索の効果測定方法」で解説しています。
代わりに、次の4段階の循環として測定を設計しています。
- 重要質問の体系設計 — 顧客の商材・商圏に対して、比較・推薦・用途別など意図の異なる質問セットを固定します。質問設計の考え方は「AI検索最適化に使えるプロンプト集」で公開している内容と地続きです。
- 証拠保存 — 各実行について、回答本文の全文・引用URL・質問文原文・実行日時・利用したAIサービスと条件を記録として保存します。要約やスクリーンショットだけでは後から検証・集計ができないため、原文を残します。
- 同条件での競合比較 — 同じ質問セット・同じ条件で、自社と競合の出現を並べて記録します。条件が異なる測定同士を比較しないことを原則とします。
- 施策後の再測定 — 施策の前後で同一の質問セット・同一条件の測定を繰り返し、差分を見ます。プリンストン大学等のGEO研究（arXiv:2311.09735）は、コンテンツ最適化によりAI可視性が最大30〜40%向上することを実証しており、再測定によって初めて施策の効果が数字として確認できます。
なお、施策そのものについては、Googleが公式の「生成AI機能向け最適化ガイド」で述べているとおり、基礎的なSEO（クロール・インデックス可能性、人間向けの独自コンテンツ）が中心です。HackⅡの役割は特別な裏技を提供することではなく、施策の前後で何が変わったかを検証可能な形で測ることにあります。
証拠保存された1件の測定記録は、イメージとしては次のような形になります。
4つの測定フレーム：何を数え、何を数えないか
HackⅡはこの循環を、4つの測定フレームとして体系化しています。測定の透明性のため、それぞれについて「数えるもの」と「数えないもの」を明示します。
AI Decision Share — 候補入り率
数えるもの: 固定した質問セットの各実行において、自社が回答の候補集合（挙げられた選択肢の中）に入った割合です。質問カテゴリ別・AIサービス別に分けて集計します。
数えないもの: 「順位」は数えません。AI回答に順位という概念は存在しないためです。また、1回だけの出現・非出現を成果として数えません。割合として意味を持つのは、同一条件での反復実行の集計だけです。
Recommendation Win・Loss — 競合勝敗
数えるもの: 同じ質問に対して「自社が選ばれた回（Win）」「競合が選ばれ自社が外れた回（Loss）」「どちらも選ばれなかった回」と、Loss時に代わりに推薦された競合名、AIが理由として述べた記述を数え、記録します。
数えないもの: AIが述べた理由が事実として正しいかどうかの判定は行いません。理由の記述はあくまで「AIがそう述べた」という記録であり、負け筋の仮説を立てる材料として扱います。競合の実際の性能・価格の優劣を測定値として断定することもしません。
Citation Channel Map — 引用元チャネル分析
数えるもの: 回答の出典として提示された引用URLを、自社サイト・比較サイト・レビュー・ニュースなどのチャネルに分類した内訳です。自社と競合それぞれについて、どのチャネルから引用されているかを数えます。
数えないもの: 各引用元からの流入数やクリック数は数えません。それはアクセス解析（GA4等）の領域であり、AI回答側の測定とは別の指標系です。また、引用元サイトの品質スコアのような独自の格付けも行いません。
Measure→Act→Remeasure — 施策前後の再測定
数えるもの: 同一の質問セット・同一条件で施策の前後に測定した、上記3指標の差分です。差分が回答の揺らぎの範囲か実際の変化かを、複数回の測定で確認します。
数えないもの: 質問セットや条件を変更した後の数値は、変更前との比較として数えません。質問を変えれば数字は動きますが、それは施策効果ではないためです。また、1回きりの再測定の差分だけで「効果があった」と結論づけることもしません。
「実測ゼロ」と「測定失敗」を区別する
HackⅡの記録方針として重視しているのが、「実測した結果ゼロだった」ことと「測定自体が失敗していた」ことを混ぜないことです。
- 実測ゼロ — 質問が正しく実行され、回答が証拠として保存された上で、自社への言及・引用がなかった状態です。これは正当な測定結果であり、改善の起点になる数字として報告します。
- 測定失敗 — 取得漏れ、質問の誤り、条件の混在（別モデルでの実行が混ざる等）によって、その回の結果を信頼できない状態です。これは集計から除外し、失敗として別に記録します。
ゼロと失敗を混ぜると、集計値そのものが信頼できなくなります。逆に、証拠が残っていれば「測定は正しく行われた上でのゼロ」と言えます。都合の悪いゼロを失敗として握りつぶさないためにも、この区別は証拠保存とセットで運用します。
データポリシー：公開すること、公開しないこと
HackⅡの測定に関するデータの取り扱い方針は次のとおりです。
- 顧客の測定データ・質問セットは公開しません。 顧客ごとの測定結果・質問設計・競合比較は、当該顧客への報告のみに使用します。事例として紹介する場合も、顧客の同意なく測定データを引用することはありません。
- 公開調査は、自社または公開情報のみで構成します。 「HackⅡ Research」などで公開する調査は、自社（トリリオンバンク）を対象とした測定か、公開情報のみを用いた調査に限定します。顧客データを匿名化して流用することもしません。
- 測定日時・条件を必ず明記します。 AI回答は日々変わるため、日時と条件のない測定結果は検証できません。公開する数字には、いつ・どのような条件で測定したかを付記します。
- 都合の悪い結果も公開します。 公開調査で自社に不利な結果が出た場合も、その数字を含めて公開します。良い結果だけを選んで見せる測定は、測定と呼べないと考えているためです。
- 成果を保証しません。 AI検索での表示・問い合わせ・売上を保証する表現は使いません。AI回答は確率的に変動する出力であり、「保証できる」と断言することは、この記事で説明した測定の考え方そのものと矛盾します。
現在のステータス
HackⅡは現在、限定商用検証・導入相談受付中です。
- 対応するAIサービスの範囲は、契約時点で本番検証済みの範囲をご案内しています。将来の対応予定を確定事実としてお伝えすることはしません。
- 実際の画面・測定レポートの構成・詳細資料は、30分のオンライン面談でご説明しています。
- 製品の位置づけと全体像は「HackⅡ製品ページ」をご覧ください。証拠付きレポートの構成イメージは「HackⅡサンプルレポート」でも公開しています。
内製で代替できる範囲（誠実開示）
この記事で説明した測定の考え方は、規模が小さければ自社でも実践できます。固定質問20問程度を週次で各AIに実行し、候補入り・言及・引用の有無と選ばれた競合名をスプレッドシートに記録し、回答本文と引用URLを原文で残せば、簡易的な定点観測として十分に機能します。質問設計は「AI検索最適化に使えるプロンプト集」を出発点にできます。
内製で工数が破綻しやすいのは、質問数・AIサービス数・競合数・実行頻度が掛け算で増えたときと、証拠の管理・検索・前後比較が手作業で回らなくなったときです。その分岐の考え方は「内製/外注判断ガイド」で整理しています。まずは内製の簡易測定で現状を把握し、必要になった段階でツールや外部支援を検討する、という順番で問題ありません。
よくある質問（FAQ）
Q. HackⅡの測定とは何ですか？
A. AI検索での自社の見え方を、重要質問の体系設計・回答と引用URLの証拠保存・同条件での競合比較・施策後の再測定という循環として実行し、検証可能な記録として残す活動です。「出たか」だけでなく、なぜ選ばれ、なぜ外れたかまでを扱います。
Q. HackⅡは何を数えて、何を数えないのですか？
A. 候補入り率（AI Decision Share）、質問ごとの勝敗と推薦理由の記述（Recommendation Win・Loss）、引用URLのチャネル別内訳（Citation Channel Map）、同一条件での施策前後差分（Measure→Act→Remeasure）を数えます。順位という存在しない概念、1回だけの出現・非出現、AIが述べた理由の真偽、クリック数や売上への寄与額は数えません。
Q. 顧客の測定データや質問セットは公開されますか？
A. 公開しません。顧客ごとの測定データは当該顧客への報告のみに使用します。公開調査（HackⅡ Research）は、自社を対象とした測定か公開情報のみで構成し、測定日時・条件を必ず明記します。
Q. 「実測ゼロ」と「測定失敗」はどう区別されますか？
A. 証拠保存によって区別します。回答本文・引用URL・質問文・日時・条件が残っていれば、言及ゼロを「正しく測定した上でのゼロ」として報告できます。取得漏れや条件の混在があった回は集計から除外し、失敗として別に記録します。
Q. 成果は保証されますか？いま導入できますか？
A. AI検索での表示・問い合わせ・売上といった成果は保証しません。現在は限定商用検証・導入相談受付中で、対応AIは契約時点で本番検証済みの範囲をご案内し、実際の画面・詳細資料は30分のオンライン面談でご説明しています。
まとめ
HackⅡの測定方法とデータポリシーの要点です。
- 測定は循環として設計する — 重要質問の体系設計→証拠保存→同条件での競合比較→施策後の再測定
- 4つのフレームに「数えないもの」を明示する — 順位・1回の出現・理由の真偽・クリック数は測定値として扱わない
- 実測ゼロと測定失敗を混ぜない — 証拠保存が両者を区別する唯一の手段
- 顧客データは公開せず、公開調査は自社または公開情報のみ。都合の悪い結果も公開し、成果は保証しない
この方針は、AI検索の測定に対する当社の考え方そのものです。測定の一般論から確認したい方は「AI検索の効果測定方法」を、公開調査の実例は「HackⅡ Research創刊」をご覧ください。
参考文献・一次情報
本記事は株式会社Trillion Bankが独自に作成したものです。記事内容は公開時点の情報に基づいており、最新の状況と異なる場合があります。記載内容は情報提供を目的としたものであり、特定のサービスの利用を推奨するものではありません。
この記事のテーマを、自社・競合で実際に確認する
HackⅡは、AI回答内での候補入り・競合との勝敗・引用された情報源を証拠付きで測定し、次に改善すべき情報を特定するAI Recommendation Intelligenceです。詳細資料・実際の画面は30分のオンライン面談でご説明します。
HackⅡの測定の考え方を見る ※ 成果（AIでの表示・問い合わせ・売上）を保証するものではありません。