論文の概要: FIRE: Failure-Informed Runtime Engineering for Reliable Language-Model Agents
- arxiv url: http://arxiv.org/abs/2609.26048v1
- Date: Tue, 22 Sep 2026 11:50:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.347119
- Title: FIRE: Failure-Informed Runtime Engineering for Reliable Language-Model Agents
- Title（参考訳）: FIRE: 信頼性の高い言語モデルエージェントのためのフェールインフォームドランタイムエンジニアリング
- Abstract要約: 政策誘導型テラは71.4%、非支援型ソルは64.3%、約半分である。
政策誘導型テラは71.4%、非支援型ソルは64.3%、約半分である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language-model agents often reach a working solution and then fail to consistently deliver it. We study runtime policies: targeted natural-language instructions and action denials applied by the agent harness at states that preceded observed failures, without changing model weights or the user prompt. With this, keeping capability constant, we observe a meaningful unlock in delivered reliability. Across the complete 87-task Terminal-Bench 2.1 suite, with two attempts per task, policies increase repeated success (pass^2) in all three GPT-5.6 tiers: 50.6% to 54.0% for Luna, 55.2% to 60.9% for Terra, and 64.4% to 73.6% for Sol. Sol's best-of-two success changes by 1.2 points while repeated success rises by 9.2, showing that policies chiefly convert reachable solutions into dependable delivery. We further cover 14 tasks under Terra's frozen portfolio. Policy-guided Terra reaches 71.4%, compared with 64.3% for unassisted Sol, at about half the cost, demonstrating how engineering around models could unlock dependability for a use case. To isolate the mechanism we run a randomized five-arm experiment: real policies reach 61% on eligible tasks, versus 39% without a policy, 36% with a timing-matched sham, and 39 to 43% with generic verification or reconsideration. The intended corrective behavior appears in 22 of 24 coded policy attempts, against at most 14 in any other arm. Runtime policies are therefore a practical reliability layer: they make capabilities an agent already possesses substantially more repeatable.
- Abstract（参考訳）: 言語モデルエージェントは、しばしば動作するソリューションに到達し、一貫してそれを提供するのに失敗する。
モデルウェイトやユーザプロンプトを変更することなく、観測失敗に先立つ状態において、エージェントが適用した自然言語命令とアクション拒否をターゲットとした実行時ポリシーについて検討する。
これにより、可用性を一定に保ちながら、配信された信頼性に対する意味のあるアンロックを観察します。
87-task Terminal-Bench 2.1 スイートはタスクごとに2回試行され、ポリシーは3つの GPT-5.6 ティアで繰り返し成功(pass^2)が増加し、ルナでは50.6%から54.0%、テラでは55.2%から60.9%、ソルでは64.4%から73.6% となった。
Solの最高2点の成功率は1.2ポイント、反復的な成功は9.2ポイント上昇し、主にリーチ可能なソリューションを信頼性のあるデリバリに変換することが示されている。
さらに、Terraのフリーズポートフォリオの下で14のタスクをカバーしています。
政策誘導型Terraは71.4%、非支援型Solでは64.3%に達し、約半分のコストで、モデル周りのエンジニアリングがユースケースの信頼性を解放できることを示した。
このメカニズムを分離するために、我々はランダム化された5つのアーム実験を実施し、実際のポリシーは、適切なタスクで61%、ポリシーなしで39%、タイミング整合シャムで36%、一般的な検証や再検討で39～43%に達する。
意図された修正行動は、24のコード化されたポリシーの試行のうち22に現れ、他のどの腕にも少なくとも14の修正行動がある。
したがって、実行時ポリシーは、実用的な信頼性レイヤである。
関連論文リスト
- Making Agents More Consistent: Skills Should Form Habits for Repeat Tasks [0.0]
私たちはそれぞれ42のタスクを3回実行し、モデルによっては38%から74%の回答が一致しないことがわかった。
スキルの習慣形成を提案する。
4つの理由付けアームのうち3つは42質問の11～13回、42質問の4回目は42の4回目、習慣形成型は456通の発送で再現され、置換されたすべての腕に非劣性であった。
論文 参考訳（メタデータ） (2026-09-21T18:43:49Z) - Learning Foresight without Explicit Trajectories for 3D Diffusion Policies [54.692734738738885]
3次元拡散ポリシは、現在の観測から幾何学的に基底化されたアクションを生成するのに強い。
我々は,この予測を明示的な計画を導入することなく,シンプルかつ効果的な手段である運動傾向ガイダンスを導入する。
正確にどこに移動すべきかを告げることなく、相互作用がどこに向かっているかを知ることで、大きなメリットを享受できることを、私たちは示しています。
論文 参考訳（メタデータ） (2026-09-17T16:44:13Z) - SUN: Persistent Programs For Language-Grounded Control-to-Learning-to-Real Policies [61.941546372624686]
既存のプロトコルはタスクのセマンティクスを廃止し、手作りの報酬と制御が検証したものから逸脱する振る舞いを残している。
本稿では,SUN (Semantically UNified Programs) を導入し,幾何関係と接触関係が一度定義され,整列したモデル予測制御にコンパイルされる型付き実行プログラムについて述べる。
我々のシステムであるKuafuは、言語やシーンのセマンティクスからSUNプログラムを自動で合成し、MPCによる画面表示を実現し、ステージ条件付きポリシーのトレーニング中にセマンティクスを保持する。
論文 参考訳（メタデータ） (2026-08-31T17:59:16Z) - Recursive Synthesis for Long-Horizon Terminal Tasks [50.39352383646813]
Recursive Synthetic Terminal Tasks (RST) は、大規模に長期の端末エージェントタスクを構築するためのフレームワークである。
RSTは37,484個の合成端末エージェントタスクを1タスクあたり0.05ドルで生成する。
軌道の微調整により、Qwen3.5-27BとQwen3.5-122B-A10Bはターミナルベンチ2、ターミナルベンチハード、ロングホライゾンターミナルベンチで最大10ポイント改善される。
論文 参考訳（メタデータ） (2026-08-05T23:24:26Z) - Claim Plane: Reliability Gains and the Limits of Selective Concurrency for Parallel Coding Agents: A 30-Pair, Three-Seed Confirmatory Study of Deterministic Pre-Write Admission [1.4721615285883427]
Claim Plane氏は、この障害モードを、バージョン管理された変更意図に対する決定論的事前書込みとして扱う。
静的クレームプレーンは、制約のない並列実行の下でペアパスを23.3%から50.0%に引き上げた。
動的入院はより選択的であり、66.7%の紛争事件と13.3%のクリーンケースを連行したが、90件の処刑のうち46件は未宣言の範囲で閉鎖された。
論文 参考訳（メタデータ） (2026-08-02T02:56:49Z) - DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。
一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
論文 参考訳（メタデータ） (2026-07-31T05:34:02Z) - Reason Less, Verify More: Deterministic Gates Recover a Silent Policy-Violation Failure Mode in Tool-Using LLM Agents [1.6567880228735357]
ポリシーを許容する環境では、対応する状態遷移がドメインポリシーによって禁じられている場合であっても、ツールはよくできた呼び出しを実行できる。
我々は、この障害モードを2ドルの航空会社ドメインで研究する。
我々は、決定論的かつリードオンリーの事前実行ゲートという、軽量な介入を評価する。
論文 参考訳（メタデータ） (2026-07-08T13:38:54Z) - Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。
これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。
本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2025-03-06T15:36:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。