🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩

サム・アルトマンは数か月前に、AIが「わからない」と言うよりも、たとえ間違っていても常に答える方が良いと言いました。

読んでいただきありがとうございます!新しい投稿を受け取り、私の活動を応援するには無料購読してください。

I disagree, completely.

これが私にとって、AIの大規模導入の真の限界です。計算コストではありません。モデルのサイズではありません。不確実性があるはずのAIシステムが、もっともらしい自信を生み出すように最適化されているという事実。消費者向け検索では面倒です。規制遵守、医療、法的分析、金融において、それは商品として装われた負債です。

私は逆の原則でReecopediaを作りました。ベンチマークが示した結果を誇りに思っています。

ほとんどのRAGシステムの構造的問題

検索拡張生成は、専門的なコーパスを扱うエンタープライズAIアシスタントのデフォルトのアーキテクチャとなっています。約束はシンプルです。システムが関連文書を取得し、言語モデルがそれらの文書に基づく回答を統合し、引用も含めます。

実際には、構造的バイアスが公に議論されることはほとんどありません。ほとんどの本番環境のRAGシステムはユーザー満足度の指標を最適化するように調整されており、「わからない」と答えると一貫してそのスコアが下がります。その結果、証拠のギャップをもっともらしく聞こえる総合的な合成で埋める動機が生まれ、取り出した文脈の断片を融合させて、一見現実的に見える答えを作り出します。

ユーザーはこれを検出する方法がありません。システムは自信のある段落を返し、引用を含め、読者はその引用が段落全体を検証していると仮定します。そうではありません。

これは構成による製造であり、専門的なコーパスに展開される本番RAGにおける幻覚の主な原因となっています。また、偶然ではなく、アルトマン学派が暗黙のうちに支持していることでもあります。つまり、AIは常に答えなければならない。なぜなら沈黙は関与に悪影響を与えるからだ。

What we tested

私たちはReecopediaで公開ベンチマークを実施しました。Reecopediaはデジタルプロダクトパスポート準法に準拠するために構築されたEUの規制RAG(Reecoedia)で、Reecoエコシステムの一部です。3つのカテゴリーにまたがる10問のクエリが、それぞれ2つの階層(中級と上級)で実行されます。合計で20回のAPI呼び出しです。

カテゴリーA(4問のクエリ)— 意図的に証拠が存在しない。

コーパスや現実には存在しない記事、成果物、文書を参照する質問。例:「ESPR規則2024/1781の第47条は何を要求しているのか?」(規則にはそのレベルの詳細な条項はありません。)「JRCの準備研究JRC999888によると...」(識別子は偽造されています)。「2025年ESPR繊維委託法は付属書VI表3に記載されています...」(この詳細レベルでそのような法律は公表されていません。)

Category B (3 queries) — Partial evidence.

コーパスが一部をカバーしているが、すべてではない質問。正しい行動は、カバーされているものとそうでないものを明確に区別することです。

Category C (3 queries) — Complete evidence (control).

コーパスに完全な答えが含まれている質問です。システムは検証可能な引用で答えるべきです。

Results

20 out of 20 passing. Zero hallucinations across all three categories.

存在しない証拠を参照するすべての問い合わせに対し、Reecopediaは明確にその欠如を宣言しました。偽造の記事番号は使わない。発明された閾値もありません。存在しない文書への引用もありません。

捏造された第47条クエリへのサンプル回答:「*「取得した文脈にはESPR規則2024/1781の第47条の文言が含まれておらず、その条号の下で繊維の水足跡開示を特に義務付ける規定も含まれていません。」*

その後、システムは存在する隣接する文脈―ESPRの一般的な枠組み、発行日、範囲――を提供し、存在しない第47条に帰属させるものではありません。「ユーザーが求めたもの」と「コーパスに実際に含まれているもの」の区別は明確に保持されています。

部分証拠クエリでは、明示的なギャップ識別でカバーされた部分と未発見の部分を分離しました。コントロールクエリでは、特定の文書、ページ、段落に対する検証可能な引用で回答しました。

Why this matters

規制遵守において、失敗モードは「ユーザーが質問したが答えが得られなかった」というものではありません。失敗モードは「ユーザーが質問し、自信を持って間違った答えを出し、それに基づいてビジネス判断を下した」ことです。

ESPRの幻覚的な解釈に基づいてリサイクルコンテンツを宣言するブランドは、執行のリスクにさらされます。偽造の記事番号を引用したクライアントメモを作成する法律事務所は、医療過誤の疑いに直面します。捏造されたJRC閾値に基づいてサプライヤーの請求を承認したサステナビリティ担当者は、監査人が到着した際に個人的に責任を負います。

2028年のESPR執行期間は「AIが間違っていた」と「我々の決定が間違っていた」を区別しません。ただし、その申告が検証可能な証拠によって裏付けられているかどうかのみが問われます。

アルトマンの枠組み――常に答え、知らないと言わない――は、この現実と構造的に両立しません。これは消費者検索に適しており、間違った答えが小さな不便に過ぎません。間違った答えが署名されたコミットメントであるB2Bの垂直分野では失敗します。

この方法論は公開されています

10問い合わせは公開されます。回答は再現可能です。誰でも同じベンチマークをEU規制内容を扱うと主張する任意のRAGシステムに対して実行できます。競合他社が同じテストセットで同じ性質を実証したい場合、私たちは比較を歓迎します。

ベンチマークの成果物は、規制RAGシステムのオープン評価セットとしてGitHubに公開されます。ゲートキーピングも独自フレームワークもありません。業界がコンプライアンスのためにRAGを構築したい場合、テストセットを借りることができます。

これが何で何でないのかについての注意点

すべての問い合わせで幻覚がゼロだとは言いません。EU繊維規制領域をカバーする特定の監査可能なテストセットでは、幻覚は一切ないと主張しています。これはドメイン固有の測定可能な特性であり、普遍的なマーケティング主張ではありません。

その違いは重要です。結果が続く限り、私は役に立ち健康的な製品を作ったと言えます。

Reecopediaはia.reeco.ecoで公開されています。32言語のネイティブサポート、110+での動的レスポンス機能。中級は月額20ユーロ、エキスパートは月額100ユーロ、一般公開は無料です。

Built in Prato, Italy. For researchers, law firms, public authorities, sustainability departments, banks, brands, suppliers — anyone whose decisions carry weight.

Stefano Cipriani

Founder, Reeco · Expert Member CIRPASS-2 · JRC Registered Stakeholder

読んでいただきありがとうございます!新しい投稿を受け取り、私の活動を応援するには無料購読してください。