論文の概要: Interface-Induced Trajectory Censoring
- arxiv url: http://arxiv.org/abs/2609.03966v1
- Date: Thu, 03 Sep 2026 15:00:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.125032
- Title: Interface-Induced Trajectory Censoring
- Title（参考訳）: 界面誘起軌道センサ
- Abstract要約: サービススタックから読み取るツールコール率について報告する。
その数はゼロになり得るが、モデルが十分に整った呼び出しを出力している。
ファンネルを Qwen2.5-Coder の 21 倍の範囲で再現する。
- 参考スコア（独自算出の注目度）: 6.496285418517832
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agent evaluations report a tool-call rate read off the serving stack. That number can be zero while the model is emitting well-formed calls: the interface censors the trajectory before anything downstream sees it. On BFCL v4's own data, executor and scorer, holding weights, cases, decoding and seeds fixed and changing only the serving adapter, the same model scores 0.00 or 0.96 / 0.19. A 2x2 over chat template and parser locates the effect exactly: both main effects are exactly zero and all of it sits in the interaction -- no component is defective, and repairing one side of the contract buys precisely nothing. On tau-bench's 115 interactive retail tasks the same swap moves server-parsed calls from 0 to 636 and tasks reaching any tool execution from 0 to 103. Our probe reproduces the funnel across a 21x scale range of Qwen2.5-Coder: the server parses 0/100 at every size while well-formed emitted calls rise to 80/100 at 32B (~72 after calibration against an adjudicated gold standard). Under a matched envelope, across a comparable scale span, the silent fraction stays at 0-2, a prediction committed to the repository before the run. Llama-3.1-8B's 23% rate of calling the task function itself as a tool falls to 0 under one strict:true flag. The mismatch reaches inside the training loop, and its consequence is scale-dependent: in verl's AgentLoop at 7B, 45 of 115 generations carry a complete call; 0 are accepted, 0 execute, 0 return an observation. At 1.5B the same zero is over-determined, so we report the two scales separately. At evaluation time, repairing the adapter restores the mechanism but not a significant outcome gain: parsing 0->84, rescues 0->9, pass rate 53->62 (n.s.). We release a 98-line preflight check that catches every silent failure here. The observed tool-call rate is not a property of the model alone; it is a property of the model-interface stack that measures it.
- Abstract（参考訳）: エージェント評価は、サービススタックを読み取るツールコール率を報告します。
インターフェースは、ダウンストリームがそれを見る前に、軌道を検閲する。
BFCL v4自身のデータ、エグゼキュータとスコアラ、重み、ケース、デコードとシードが固定され、サービスアダプタのみを変更し、同じモデルスコアが0.00または0.96/0.19である。
チャットテンプレートとパーザ上の2x2は、両方の主要な効果が完全にゼロで、そのすべてがインタラクションの中にあります -- コンポーネントに欠陥はなく、コントラクトの片側を修復しても、まったく何も買わないのです。
Tau-benchの115のインタラクティブ小売タスクでは、サーバパースコールが0から636に、タスクが0から103に到達している。
調査では,Qwen2.5-Coderの21倍のスケール範囲でファンネルを再現し,各サイズで0/100を解析し,32Bでは80/100まで上昇した(偏差金標準に対する校正後の約72)。
一致するエンベロープの下では、同じスケールのスパンでサイレントパーティションは0-2に留まり、実行前にリポジトリにコミットされる。
Llama-3.1-8Bのタスク関数自体をツールとして呼び出すレートは23%で、1つの厳密な:trueフラグの下で0に落ちる。
トレーニングループ内にミスマッチが到達し、その結果はスケール依存される: Verl の AgentLoop at 7B では、115 世代のうち 45 世代が完全な呼び出しを持ち、0 が受け入れられ、0 が実行され、0 が観察を返します。
1.5Bでは、同じゼロが過剰に決定されるので、2つのスケールを別々に報告する。
評価時に、アダプタの修復はメカニズムを復元するが、大きな成果は得られない: 0->84 を解析し、0->9 を救い、53->62 を救う(n.s.)。
98行の事前チェックをここでリリースしています。
観察されたツールコールレートは、モデルのみの特性ではなく、それを測定するモデルインターフェーススタックの特性である。
関連論文リスト
- ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳（メタデータ） (2026-09-15T04:59:03Z) - Calibration is the Bottleneck: An Action-Class Diagnostic of Multi-Turn Tool-Calling [65.03665015319457]
本稿では,マルチターン障害を2つのモードに分解するアクションクラス指向診断フレームワークを提案する。
複数のマルチターンベンチマークにまたがるツールコールモデルのパネル上で検証を行う。
論文 参考訳（メタデータ） (2026-09-01T09:08:15Z) - ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices [48.36933831982682]
我々はADEPTS機能フレームワークを基盤とした信頼性ベンチマークであるADeptS-Benchを紹介する。
Safetyストリームは、視覚インターフェースに埋め込まれた脅威を伴うペアの良心/悪意のあるタスクを提供する。
曖昧さストリームは、意図が曖昧である場合、エージェントが明確化を求めるかどうかを評価する。
論文 参考訳（メタデータ） (2026-08-25T23:21:57Z) - Feedback That Backfires: Why Small Language Model Agents Repeat the Call They Just Watched Fail [0.0]
障害レコードの修正的なゲインを、失敗するアクションを再発光するログ確率の変化として定義すると、そのゲインは、命令チューニングされたモデル毎に負であることが分かります。
問題は、モデルのエラーメッセージの把握ではなく、ハーネスにある。
論文 参考訳（メタデータ） (2026-08-24T10:19:17Z) - Invocation-Level Reliability of Tool-Using Agents [0.7874708385247353]
クリーンな教師強化コンテキストと,モデル独自のフリーランニングコンテキストの両方の下で,その2つを分離する,正しい起動率を測定する。
深さ6では、モデル自身のクリーンコンテキスト能力の約70%が、以前の失敗に失われる。
論文 参考訳（メタデータ） (2026-08-23T09:04:59Z) - Beyond the Trace: Coupling an Interpretable Reasoning-State Readout to Native MoE Routing [61.695980784491475]
実験用混合推論のための2レベル内部読み出し手法を提案する。
ボキャブラリスケールのJ-空間を、モデル自身の推論状態から学習した64軸意味フレームであるJ64に初めて蒸留する。
そして、ネイティブの専門家による統計からJ64を再構築する。
論文 参考訳（メタデータ） (2026-08-18T10:56:31Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳（メタデータ） (2026-08-14T19:22:50Z) - Real-Time Detection and Repair of LLM Agent Failures [0.0]
LLMエージェントは、エポゾドループの途中で失敗し、カスケードツールエラー、ゴールのドリフトオフ、結果の生成、あるいは静かに劣化したコンテンツを吸収する。
1ステップあたりのマイクロ秒のモニターを使用して、正常な実行のみをトレーニングすることで、観測可能なステップ単独で、どの程度の検出が達成できるのかを問う。
システムは1歩あたり200マイクロ秒で、審査員の呼び出しより3桁低い。
論文 参考訳（メタデータ） (2026-08-03T16:34:46Z) - Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。
Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。
500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
論文 参考訳（メタデータ） (2026-08-01T18:25:00Z) - Looking Is Not Picking: An Attention-Segment Account of Tool-Selection Failures in LLM Agents [0.4855342112648282]
LLMエージェントは誤呼ツールであり、自然の推測では、モデルは混み合ったハーネスで適切なツールを見られなかった。
レンズコンカレントな作業セットは別として、ラベル付きツール定義セグメントに対するモデルの注意を、その逆で示します。
論文 参考訳（メタデータ） (2026-06-15T07:58:56Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳（メタデータ） (2026-05-11T17:49:43Z) - Tool Calling is Linearly Readable and Steerable in Language Models [7.851713181228514]
ツール呼び出しエージェントが間違ったツールを選択すると、実行まで失敗は見えない。
Gemma 3、Qwen 3、Qwen 2.5、Llama 3.1の12の命令調整モデルを使用します。
選択したツールの同一性は、モデル内で線形で、管理可能であることが分かりました。
論文 参考訳（メタデータ） (2026-05-08T16:47:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。