私がCIOと交わす会話のほぼすべてにおいて、懸念事項は同じです。エージェントが自信満々に間違った回答をし、誰かがそれに基づいて行動してしまうことです。デモでの間違った回答は単なる好奇心の対象ですが、本番環境では、誤った予測、不正検出の見落とし、あるいは顧客に事実とは異なる情報を伝えることにつながります。モデルに生のスキーマを与えると、企業にとって何を意味しているのかを推測しなければなりませんが、エンタープライズにおいては、自信満々の推測は、全く回答がないよりも悪い結果を招く可能性があります。ですから、業界の方向性には賛成です。エージェントには、企業独自の定義、関係性、ルールを保持するコンテキストレイヤーが必要です。セマンティックモデル、メトリックストア、オントロジーはすべて、まさにこの目的のために再構築されています。その直感は正しいのです。しかし、その作業のほとんどは問題の簡単な半分に焦点を当てており、間違った場所で構築されています。
コンテキストレイヤーは税関です
企業データはかつてないほど容易に入手できるようになりました。しかし、より難しいのは、そのデータが何を意味するのかを理解することです。エージェントに前四半期の収益を尋ねれば、数字が返ってくるでしょう。しかし、それがCFOが承認する数字かどうかは別の問題です。なぜなら、収益は、誰が尋ねているかによって、予約、ARR、認識済み収益、または現金回収など、意味が異なるからです。同じ顧客でもシステムによって表示が異なり、ダッシュボード上では明白に見える指標でも、財務、営業、または運用部門にしか存在しない例外が存在する可能性があります。こうした背景情報なしにすべてのデータをエージェントに渡せば、エージェントは形式的で自信満々だが、間違った回答を返すでしょう。
これはデータとインテリジェンスの間の最後の境界線であり、コンテキスト層はそれを守る税関のようなものです。コンテキスト層は、業務が実際にどのように機能するかをエージェントに伝える定義、関係性、ルール、および権限を提供します。コンテキストが優れているほど、システムが自ら推論する必要のある情報が少なくなり、もっともらしくても誤った経路を辿る可能性も低くなります。
設計時のコンテキストは簡単な部分だが、実行時のコンテキストはそうではない
コンテキストには2種類あり、そのうち難しいのは1種類だけです。設計時コンテキストとは、スキーマ記述、承認済み結合、メトリック定義、ビジネスルール、権限、ゴールデンクエリなど、事前に定義できるすべてのものです。チームは、最初の質問が行われる前に、これを整理、テストし、システムに学習させることができます。現在、ほとんどの本格的なプラットフォームがこれをサポートしており、当社のプラットフォームも例外ではありません。これはカスタムコードであり、その記述はほぼ解決済みの問題です。
ランタイムコンテキストは、まさに積荷のようなものです。システムが動き出した後に生成されます。例えば、2秒前に行われた予約、決済が完了したばかりの支払い、届いたばかりの不正信号、別のエージェントが書き込んだ在庫調整などです。そこから先は、次の適切なアクションは、前回のアクションで何が変わったかによって決まります。ビジネス自体の状態が変化するため、事前に指定することはできません。そのため、最近書き込まれたデータや取り込まれたデータは、鮮度の問題ではなく、コンテキストの一部となります。そして、これは今日の企業において、コンテキストの中で最も見落とされがちな部分です。
その区別によって、税関がどこに属するかが決まります。ほとんどのコンテキスト層は、変更データキャプチャによって供給される分析コピーに基づいて、下流で構築されます。これらは設計時のコンテキストを完璧に保持します。しかし、実行時のコンテキスト、つまりコピーが作成されてから実行されたトランザクション、イベント、その他のエージェントによって生成された状態は保持できません。
エージェントが間違った状態を読み取ったとき
レプリカからの読み取りでは、関連する書き込みが3秒前に行われたか7秒前に行われたかにかかわらず、同じ確実な結果が返され、結果にはエージェントがどちらのケースに該当するかを示す情報は一切含まれません。単純な遅延よりも悪い点は4つあります。ラグが移動すること、エージェントが自身の書き込みを確認できないこと、コピーに実際には存在しなかった状態が表示される可能性があること、そして2つのエンジンが同じ行について意見を異にする可能性があることです。
レプリケーションの遅延は通常数秒、場合によっては数分程度で、書き込みが集中する時（フラッシュセール、不正行為の急増、市場の変動など）にピークを迎えます。コピーが最も遅れるのは、データが最も活発に動き、正確性が最も重要な時です。エージェントは遅延を認識せず、数値だけを認識します。
エージェントは、自分の書き込みを確実に確認することもできません。たとえば、あるエージェントが最後のユニットを予約し、2秒後にレプリカで在庫を確認するとします。予約はまだ届いていないため、ユニットはまだ利用可能に見え、エージェントはそれを再度予約してしまいます。フリート全体では、この問題はさらに悪化します。なぜなら、2人目のエージェントも同じ架空のユニットを見て、それを予約してしまうからです。これは単なる言い訳ではありません。これは実際にコストのかかる二重予約であり、すべてのエージェントが同時に操作すると、そのコストは累積します。
コピーには、実際には存在しなかった状態が表示されることがあります。CDCは変更をストリームとして適用するため、レプリカは任意の時点で、対応する貸方（クレジット）なしにトランザクションの借方（デビット）を保持する可能性があります。この読み取りは、ソースの遅延スナップショットではありません。それは、存在しなかった世界のスナップショットです。トランザクションの一貫性を保証するパイプラインもあれば、そうでないパイプラインもあり、パイプラインを運用しているほとんどのチームは、どちらの種類のパイプラインを使用しているかを確認したことがありません。
たとえ完全なレプリケーションを実現したとしても、2つのエンジンが2つの異なる応答を返す可能性があるため、問題は解決しません。遅延がゼロの場合でも、レプリカを照会するエージェントとソースを照会するアプリケーションは、同じ行について同時に異なる応答を返す可能性があります。エージェント間の一貫性は、1つのエンジンがデータの1つのコピーを処理することによって実現され、レプリケーション速度の向上によって実現されるわけではありません。
これらの失敗はすべて、エージェントがビジネスの1つのバージョンに基づいて推論し、別のバージョンに基づいて行動していることに起因しており、両者が乖離していることをエージェントに伝える手段がありません。AIが質問に答えるだけだった頃は、これは許容範囲でした。質問に答えるエージェントが間違っていた場合、その影響はプレゼンテーション資料に及びます。しかし、応答するエージェントが間違っていた場合、その影響は本番環境に及びます。正確さは、より優れたモデルが提供できるものではありません。それは、コンテキストが存在する場所の特性なのです。
税関は、書き込みが行われる場所に属する
コンテキスト層が下流工程に配置されるようになったのには理由があります。運用データベースはトランザクションを記録するために構築されたものであり、分析、検索、ベクトル取得を実行するために構築されたものではありません。そのため、各チームはデータを可能な限り別の場所にコピーしていました。このトレードオフがギャップを生み出し、そしてそれが私たちが解消しようとした制約なのです。
ビジネス取引が行われる場所に税関を設置するということは、定義、関係、ゴールデンクエリ、権限をアプリケーションが書き込むのと同じライブデータ上に保持し、トランザクション、分析、全文検索、ベクトル検索をそのデータに対して同時に実行できるようにすることを意味します。1つのエンジン、1つのコピー、1つのバージョンの行。これがSingleStoreで私たちが賭けていることです。エージェントは、ビジネスがまだ書き込んでいるのと同じ現在の行に対して推論を行い、そのアクションは同じ状態に反映されます。Aura Analystのドメインが意味コンテキストとデータベース権限を一緒に保持し、エージェントの定義と権限が同じライブ行に適用されるようにしているのもそのためです。
すべてを単一のエンジンに集約することで、ほとんどの境界越えが不要になります。今日のエージェントの動作を見ると、推論のように見えるものの多くは、システム間を行き来していることがわかります。スキーマの取得、データウェアハウスへのクエリ、運用データベースのチェックによる回答の妥当性の確認、そしてほぼ一致する識別子の照合などです。こうした境界越えのたびにトークンによるコストが発生し、そのどれもが回答の精度を高めるものではありません。
データリーダーであれば誰でも、次の3つの質問で自社のスタックをテストできます。エージェントは自身の書き込みを読み取ることができますか？2つのエージェントが同じ質問を同時に行った場合、異なる回答が得られる可能性はありますか？ビジネス定義と権限は、トランザクションが発生する場所で適用されていますか、それともコピー上で適用されていますか？回答が「いいえ」、「はい」、「コピー上で適用」であれば、コンテキストレイヤーは名前が変わっただけのレポートツールです。
ほぼ誰もが税関を建設しています。議論に値する問題は、それがどの国境に設置されるかということです。下流に設置すれば、既に出荷された貨物を検査することになり、そこから情報を読み取る担当者は、今日のダッシュボードのような状態になります。つまり、何が起こったかを理解するのに役立ちますが、何かを決定する必要がある場合には不十分です。ビジネス取引が行われる場所に設置することで、国境を越えるすべての担当者が、それが何を意味するのか、何に影響を与える可能性があるのか、そしてそれが現在の世界を正しく表しているのかど うかを宣言できなければなりません。それが最後の1インチであり、答えが正しいか間違っているかが決まる場所なのです。
