論文の概要: Fidelity Collapses with Table Size, Not Turn Count: Delivery Architecture in a Deployed Tool-Using Agent
- arxiv url: http://arxiv.org/abs/2611.00442v1
- Date: Fri, 30 Oct 2026 22:50:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.404387
- Title: Fidelity Collapses with Table Size, Not Turn Count: Delivery Architecture in a Deployed Tool-Using Agent
- Title(参考訳): テーブルサイズとフィデリティの崩壊 - デプロイされたツール使用エージェントによるデリバリアーキテクチャ
- Abstract要約: マルチターンエージェントは構造化されたレコードをモデルのコンテキストに配信し、各ターンを再エミュレートし、ツールが正しく計算したデータを破損させる。
同一の凍結ペイロード上の2つのアーキテクチャ、系統整合プロンプトとサンプリング、デリバリアーキテクチャでのみ異なる。
24の対話(39は条件毎のターン)、BYPASSのスコアは92.3%、SyntheSIS 45.7%(paired gap +46.6pp [+35.7, +57.1])である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When a multi-turn agent delivers a tool's structured records into the model's context and re-emits them each turn, every turn can corrupt data the tool computed correctly. We measure this in a production award-travel agent: two architectures over identical frozen payloads, lineage-matched prompts and sampling, differing only in delivery architecture. SYNTHESIS feeds full record sets into the planner's context and answers follow-ups in-head; BYPASS, the deployed system, keeps records in session state, translates follow-ups into arguments for a deterministic filter, and delivers rows over a typed side channel. Across 24 dialogues (339 scored turns per condition), BYPASS scores 92.3% of turns fully correct, SYNTHESIS 45.7% (paired gap +46.6pp [+35.7, +57.1]). Varying delivered-table size by capture date, SYNTHESIS collapses from near-perfect at 10 rows or fewer to 8% or less beyond about 74 rows. On a content-controlled prefix ladder the collapse threshold orders by model capability, from under 10 rows (GPT-4o-mini) to about 198 or more (Gemini 2.5 Pro), while BYPASS stays size-flat for all four models. The collapse is expensive: beyond 100 rows, where almost no SYNTHESIS answer is correct, each correct one costs roughly 200x BYPASS's flat \$0.012. Practitioners converged on typed side-channel delivery for rendering, not correctness; we show it was, unknowingly, also a correctness decision.
- Abstract(参考訳): マルチターンエージェントがツールの構造化されたレコードをモデルのコンテキストに配信し、各ターンを再エミュレートすると、各ターンはツールが正しく計算したデータを破損させることができる。
同一の凍結ペイロード上の2つのアーキテクチャ、系統整合プロンプトとサンプリング、デリバリアーキテクチャでのみ異なる。
デプロイされたシステムであるBYPASSはセッション状態を保持し、フォローアップを決定論的フィルタの引数に変換し、型付きサイドチャネルに行を配信する。
24の対話(39は条件毎のターン)、BYPASSのスコアは92.3%、SyntheSIS 45.7%(paired gap +46.6pp [+35.7, +57.1])である。
シネシスは10行でほぼ完全な状態から崩壊し、約74行以上で8%以下になった。
コンテントコントロールされたプレフィックス・ラグでは、10行以下(GPT-4o-mini)から約198行以上(Gemini 2.5 Pro)まで、崩壊しきい値がモデル能力によって順序付けられている。
100行を超えるシンセシスの解答はほとんど正しくないが、それぞれの正解は約200倍のBYPASSの平坦な0.012である。
実践者は、レンダリングのための型付きサイドチャネルデリバリに収束し、正確性ではなく、無意識的に、正確性の決定であることを示した。
関連論文リスト
- AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning [37.5064975347419]
言語モデルエージェントは、ポストトレーニングをますます自動化するが、完全なトレーニングスタックが与えられると、教師付き微調整に収束する。
これらの変更のためにデータアクションスペースを設計し、自動化されたシステムがそれらのうちの1つよりも完全な範囲を作ることができるかどうかを問う。
メタエージェントが解析から実行を分離するマルチエージェントシステムである textbfAutoSFT を導入する。
論文 参考訳(メタデータ) (2026-10-15T16:44:34Z) - One Patch, Three Roles: What Is Actually Coupled in Autoregressive Time-Series Forecasting? [49.84472730204669]
凍結した親の軌道は, 軽量な平行出口で観測される未来よりも適合しやすいことを示す。
また、列車選択した周期的歴史方向に沿って補正可能な残射も見出す。
Tangentはこの修正を、ニューラルパラメータやTransformerコールを追加せずに適用する。
論文 参考訳(メタデータ) (2026-09-20T14:54:35Z) - IBIB: A Protocol for Measuring Enterprise AI Systems by Serving Route, Not Model Identifier [0.0]
監査された18のベンチマークはすべて、広告付きモデルの識別子をスコア付けする。
ゴールドブラインド機能バインディングプレフライトは、どのタスクが到達する前に、ルートが評価契約を実行可能であることを確認する。
信頼性非包括的なファーストパススコアリングルールは、有効性を保ちながらスコアの失敗を維持する。
論文 参考訳(メタデータ) (2026-09-09T17:31:29Z) - Shortcut Before Circuit: Document Statistics Time In-Context Conflict Resolution [0.0]
我々は、電流と希薄度が正確に一致した合成言語でトランスフォーマーを訓練する。
私たちはこれらを最小限の因果編集で分離し、真実、トークン数、答え位置を固定しながら1つのキューを反転させます。
論文 参考訳(メタデータ) (2026-08-25T12:09:19Z) - QuoteBench: How Matched Scores Can Hide Command-Path Failures [30.480838412827907]
実行スコアだけでは、ジェネレーションエラーとジェネレーション後に導入された失敗を区別できない。
QuoteBenchはこの境界線を、インシデントから派生した14のファミリーから56のワンショットタスクに対して正確に最終状態の検証を行う。
コマンド発行エージェントの評価は、一致したスコアを本質的なモデル特性として扱うよりも、モデル構成、生成契約、実行経路、操作点、最終状態などを報告すべきである。
論文 参考訳(メタデータ) (2026-08-13T17:57:20Z) - Business Truth, not SQL Accuracy: A Rule-Gated 7B Analytics Agent Outperforms a Direct-Prompted 32B Baseline [0.0]
本稿では,2つの合成倉庫における400の凍結作業であるWarehouseBenchについて紹介する。
7BエージェントであるQueryProofは、セマンティックレイヤと物理カタログから派生したルールを使用して、その振る舞いを決定する。
論文 参考訳(メタデータ) (2026-08-10T08:14:24Z) - Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。
一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
論文 参考訳(メタデータ) (2026-07-30T16:41:40Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳(メタデータ) (2026-06-29T06:39:03Z) - The Right Answer, the Wrong Direction: Why Transformers Fail at Counting and How to Fix It [0.0]
大規模言語モデルは、たとえカウントすべきアイテムがプロンプトに明示的に存在しているとしても、単純なカウントタスクで失敗することが多い。
この失敗は、変換器が内部的にカウントを表現しないためなのか、あるいはそれらの表現を正しい出力トークンに変換することができないためなのかを考察する。
線形プローブは、中間層からほぼ完全な精度で正しいカウントを復元する。
論文 参考訳(メタデータ) (2026-05-05T01:13:06Z) - APEX-EM: Non-Parametric Online Learning for Autonomous Agents via Structured Procedural-Episodic Experience Replay [7.370176470430802]
LLMベースの自律エージェントは、永続的な手続き記憶を欠いている。
我々は,構造化手続き計画の蓄積,検索,再利用を行う非パラメトリックオンライン学習フレームワークであるAPEX-EMを提案する。
論文 参考訳(メタデータ) (2026-03-31T00:24:56Z) - CorrectAD: A Self-Correcting Agentic System to Improve End-to-end Planning in Autonomous Driving [32.564440450582346]
我々はPM-Agentを導入し、データ要求を定式化し、障害ケースと同様のデータを集める。
次に、データ収集とアノテーションの両方をシミュレートできる生成モデルを使用します。
そこで本研究では,PM-Agentが要求する3Dアノテーションに沿った一貫したビデオを生成するDriveSoraを提案する。
これらのコンポーネントを自己修正エージェントであるSystem CorrectADに統合します。
論文 参考訳(メタデータ) (2025-11-17T12:21:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。