AIのROI：AIが取り除く「見えない作業」を測る

多くの組織は、手戻り・再検証・サイレント（気づかれない）失敗を無視した「削減時間」指標でAIのROIを測っている。エンタープライズのAIエージェントにとって、「正答あたりのトークン数」は、そのアーキテクチャが隠れた作業を効率的に削減できているかどうかを明らかにしうる。

74% の企業がAIを本番稼働させているが、その半数は「効果があること」を証明できない。2026年の予算シーズンは、その清算の時だ。CFOが求めているのは、導入率の指標ではなく、監査可能な成果である。

P&L（損益）を実際に動かすものを、どう測るかを学ぼう。

なぜ、ほとんどのAI ROI計算は不完全なのか？

標準的なAI ROIの計算式は、スライド上ではきれいに見える。削減時間に時間単価を掛け、AI費用を差し引いて、勝利を宣言する。だがその計算は、AI予算を本当に食いつぶすコスト——タイムシートに決して現れない「見えない作業」——を取りこぼしている。

削減時間は有用な入力になりうるが、それはその時間が実際に再配分され、答えが使えるだけの精度を持ち、導入の総コストが計上されている場合に限る。

このギャップは、測定の問題である。

手戻りという隠れたコスト

多くのAIシステムは、新しい質問に答えるたびに大量のソースデータを繰り返し検索・再処理する。データが増えるほど、コスト・レイテンシ・無関係な文脈を取り込む可能性が高まる。次の問い合わせでは、そのループ全体がまた繰り返される。

デモ規模では、多くのデータが目下のタスクに関連して見えることがある。本番規模では、関連するのはごく一部だ。質問そのものは難しくならない。しかし、増え続けるノイズの海の中で正しい答えを見つけることは難しくなり、フェッチ型エージェントは余計な走査のたびにトークンというコストを払う。

Gartnerの2026年3月 の推論経済（inference economics）予測によれば、トークンあたりの推論コストは2030年までに90%以上下がる一方で、エージェント型AIモデルは1タスクあたり標準的なチャットボットの5〜30倍のトークンを必要とする。つまり、単価が下がってもなお、全体の推論支出は増加すると見込まれている。

サイレント失敗率

導入前の指標を持たずに本番投入したユースケースは、比較対象が残っていないため、後から信頼できる形で測定するのがはるかに難しくなる。問題はデプロイではなく、帰属（アトリビューション）にある。

Forbes Researchの2025年10月の調査 では、グローバルの経営幹部の39%が「ROIとビジネスインパクトの測定」を主要な課題として挙げた。ある幹部は、AIの便益が間接的かつ長期的な性質を持つことがROI測定を複雑にし、予算の正当化を難しくしていると指摘した。

「削減時間」の罠

質の悪いAIの本当のコストは目に見えない——作り直される文脈、聞き直される質問、気づかれないまま誤っている答え。エージェントが誤答すると、人が出力を再検証し、追加質問をし、あるいは手作業で文脈を組み立て直す。その作業は、当初のROI計算には決して現れない。本当のコストは、プロンプトではなく検索（リトリーバル）のアーキテクチャに宿っている。

要するに： 古い指標は「活動量」を測っている。それらは「何が速くなったか」を数えるが、「何が起きなくなったか」は数えない。

では、実際に何を測るべきか？

AIのROIを測るには：

1. ビジネス上の成果を定義する。
2. ベースラインと比較グループを設定する。
3. 総所有コストを把握する。
4. 品質と手戻りを測定する。
5. ROIを算出し、時間をかけて見直す。

フレームワーク：CFOの監査に耐える3つの指標

1. 正答あたりのトークン数

この指標は「正答」を固定したまま、そこに到達するためのトークンコストを測る。モデルの能力からアーキテクチャの効率を切り分けられる。DevRevの Enterprise-Bench 評価 では、同一モデル上で構造化メモリのエージェントが、フェッチ型エージェントより約4.4分の1のトークン数で94.3%の精度を達成した。

2. 回避できた手戻りサイクル

AIの応答のあとに、人が何回「再検証」「聞き直し」「文脈の再構築」をしたかを追跡する。

AIが製品階層・未解決のissue・関連ナレッジをリアルタイムで継ぎ合わせなければならないとき、手戻りは積み重なりうる。ある比較では、Computer, by DevRev が一発で正答に到達した一方、Claude は3往復のやり取りとユーザーの修正を経てようやくたどり着いた。Enterprise-Bench 全体を通してより大きく見えてくるのは「信頼性」というシグナルだ——タスクとデータ量が増えても、AIがどれだけ一貫して正しい答えを出し続けられるか、である。

3. 再検証なしに下された意思決定

人が編集せずに受け入れたAI出力の割合を測る。これは精度だけでなく「信頼」を捉える指標だ。AIが生成したコンテンツにどれだけの編集が必要かを監視することが推奨される。AI生成物の80%が微修正だけで済むなら、そのAIツールは価値を提供している。

この式は、分子の捉え方を組み替える。削減時間ではなく、「取り除いた見えない作業」を測るのだ。そこには、使わずに済んだトークン、行わずに済んだ手戻りサイクル、費やさずに済んだ再検証時間が含まれる。

• 生み出された価値 は、削減時間×フルロード時給で測る生産性向上に、自動化・効率化によるコスト削減、AI利用に帰属する収益増加、そして金額換算した品質改善を加えたものに等しい。
• 総投資額 には、ライセンス・サブスクリプション費用、導入・統合の費用、トレーニングとチェンジマネジメントへの投資、継続的なサポート・保守費用、そしてインフラおよび技術的負債が含まれる。

AIのROIはどう計算するのか？

• まずは削減時間から始める。これはAIツールにとって最も測定しやすい生産性指標だ。AI導入の前後でタスク完了時間を追跡し、明確なベースラインを確立する。そのうえで、品質改善・アウトプット増加・ビジネス成果を重ねていく。
• エンタープライズAI では、トークンのテレメトリを加える。固定した質問セットで「正答あたりのトークン数」を測る。フェッチ型のリトリーバルと構造化メモリを比較する。その差分こそが、取り除いた見えない作業である。

要するに： 正しい指標は「削減（elimination）」を測る。正答あたりのトークン数、回避できた手戻りサイクル、再検証なしの意思決定——これらは「起きずに済んだ作業」を捉える。

ごく一部のチームしか追っていない、隠れたコスト指標

これは、ほとんどのROI資料が決して捉えない指標だ——すなわち、増え続けるデータセットの中で一定に保った「正しい」答えに到達するためのトークンコストである。DevRevの Enterprise-Bench はまさにそれを測定した——同一のフロンティアモデル・同一のデータ・同一のエンタープライズ質問のもとで、構造化メモリのエージェントとフェッチ型エージェントを比較したのだ。

• 精度： 構造化メモリで94.3%、フェッチ型アプローチで63.6%。
• 効率： 正答あたりのトークン数は約4.4分の1（約5,598 対 約24,461）。
• スケール時の挙動： データセットが256倍に増えても、構造化エージェントのトークン使用量はほぼ横ばいだった一方、フェッチ型エージェントは29%増加した。

ROIにとって重要な発見はこうだ——この差はモデルの選択ではなく、検索（リトリーバル）のアーキテクチャから生じている。フェッチ型エージェントは問い合わせのたびに、増え続けるデータの海を再検索し再推論する。本番規模ではそのデータのごく一部しか関連しないため、余計な走査のたびにトークンと手戻りを支払う。構造化メモリは、その作業を一度で済ませる。この結果は Alexandros Dimakis 氏（UC Berkeley）によって独立に検証され、Laude Institute とともに開発された。

Enterprise-Bench 全体を通して、Computer は反復的なエンタープライズタスクと増え続けるデータ量にわたって、より高い精度を維持し、正答あたりのトークン数をより少なく抑えた。

AIのROIを、どう運用に落とし込むか？

成功の姿が分かったら、次の課題は、スケールしても測定を繰り返し再現できるようにすることだ。エージェントが「実験」ではなく「統治された再利用可能なスキル」として出荷されるとき、ROIは複利で積み上がる。

AIのROIを、一度きりでなく再現可能にする

Computer の Agent Studio は、会話またはコードを通じてエージェントを構築・テスト・デプロイ・管理するためのプラットフォームだ。エージェントは Computer Memory 内の共有ビジネス文脈をもとに動作し、再利用可能なスキルがチームの反復作業の標準化を助ける。チームはアイデアからテスト可能なエージェントへ数分で到達し、デプロイ前に検証できる。

このアーキテクチャは、それぞれ異なる種類の「無駄なトークン」を潰す4つの層を提供する：

各層は、反復作業・不要な文脈収集・手作業のフォローアップを削減する。ステージ1は「再取り込み」を潰す。ステージ2は「再計算」を潰す。ステージ3は「過剰検索」を潰す。ステージ4は「セッションごとの記憶喪失」を潰す。

すべてのスキルが同じ Computer Memory を再利用するため、次のワークフローを自動化する限界コストは下がっていく——ROIはプロジェクトごとにリセットされるのではなく、ユースケースをまたいで複利で積み上がる。さらに Agent Studio はエージェントを出荷前にテストできるため、「気づかれずに誤るエージェント」は大規模な手戻りを生む前に検証段階で捕まえられる——テストそのものがROIのレバーなのだ。

本番投入チェックリスト

スケールする前に、次の4つの条件を検証する：

• 導入前ベースライン： AIを本番投入する前に、固定した質問セットで「正答あたりのトークン数」「手戻りサイクル」「再検証率」を測っておく。
• ホールドアウト（対照）グループ： AIを適用しない母集団・期間・ワークフローの一部を残しておき、それと比較する。
• 意思決定ルール： どの指標が、どの水準の改善を、どの期間維持すればコストを正当化できるのかを、あらかじめ定義しておく。
• CFOが所有する指標： CFOが所有するAI指標の標準を設ける。これがないと、各事業部門のリーダーが自部門向けにそれらしいフレームワークを作るものの、どれも比較できず、全社で積み上げることもできない。

ビジネスケースを組み立てる

フレームワークはある。証拠もある。あとは、CFOにそのまま示せるストーリーが必要だ。

• まず問題から始める。従来のAI ROI指標は、手戻り・再検証・サイレント失敗を無視している。「削減時間」の罠は、生産性は捉えてもP&Lへのインパクトは捉えない。
• 次に単位を導入する。「正答あたりのトークン数」は、擁護でき、監査可能な指標だ。モデルの能力からアーキテクチャの効率を切り分ける。
• そして数字を示す。Enterprise-Bench では、構造化メモリが63.6%に対して94.3%の精度に達し、しかも正答あたりのトークン数は約4.4分の1だった。より高い精度でトークンが少ないということは、冗長な作業が「圧縮」されたのではなく「取り除かれた」ことを意味する——スピードの指標ではなく、削減の指標だ。
• 最後に、それを収益に結びつける。BILL は20万件の実クエリのうち70%を解決した。これは大規模な本番データである。

測定の5つの次元

証拠と思い込みを分ける測定の次元は5つある——削減、帰属（アトリビューション）、改善、顧客満足、意思決定の質だ。

• 削減： 使わずに済んだトークン、回避できた手戻りサイクル、費やさずに済んだ再検証時間を定量化する。
• 帰属（アトリビューション）： ホールドアウトグループや期間を用いて、AIのインパクトを切り分ける。
• 改善： 構造化メモリによる精度の向上幅（ポイント差）などの差分を追跡する。
• 顧客満足： エスカレーション率、解約（チャーン）、NPSへの影響を測定する。
• 意思決定の質： 再検証なしに下された意思決定がどれだけあるかを追跡する。

Computer, by DevRev は、ネイティブな共有メモリを備えた唯一のAIだ。構造化・非構造化データを、AIがすぐ使える単一の信頼できる情報源へと統合する。そして行動する——レコードの更新、リクエストの処理、業務の振り分け、そして変更を自社システムへ同期する。

Computer が実際のワークロードを14日で解決する様子をご覧ください。

デモを予約する と、固定した質問セットで自社のトークンベンチマークを実行できます。