論文の概要: Reading Right, Acting Wrong: Diagnosing Decision Failures of System One Models in Agent Loops

• arxiv url: http://arxiv.org/abs/2610.18579v1
• Date: Tue, 13 Oct 2026 15:43:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.660077
• Title: Reading Right, Acting Wrong: Diagnosing Decision Failures of System One Models in Agent Loops
• Title（参考訳）: 正しい読み書き:エージェントループにおけるシステム1モデルの意思決定失敗の診断
• Abstract要約: システム1モデルは、与えられたオプションのセットを1回のパスでスコアリングすることで、エージェントの次のアクションを選択する。 これにより、高速で安くなりますが、誤って選択した場合は、検査するものは何もありません。 私たちはすべての次のアクションの質問と、同じ状態に関する事実のプローブをペアにし、それぞれが独立して答えました。
• 参考スコア（独自算出の注目度）: 8.86745721473138
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: System One models choose an agent's next action by scoring a supplied set of options in a single pass. This makes them fast and cheap, but when they choose wrongly there is nothing to inspect: did the model misread what the agent has seen, or read it correctly and still act wrongly? We answer behaviorally. On a frozen benchmark of agent decision states from simulated environments, customer-service policies, tool use, web navigation and coding, we pair every next-action question with factual probes about the same state, each answered independently. Across seventeen fast systems and a reasoning model, the answer is consistent: most wrong actions follow correct reading, and the more accurate a system, the more of its errors take this form. These errors are not noise; they gather on the same states across systems of every kind. Where the probed facts provably determine the action, models that read every fact still fail to combine them, and their own answers, composed by code, repair the failure. On real states, what is missing is often not a fact but the next sub-goal.
• Abstract（参考訳）: システム1モデルは、与えられたオプションのセットを1回のパスでスコアリングすることで、エージェントの次のアクションを選択する。 モデルでは、エージェントが見たものを誤って読んだり、正しく読み取ったり、まだ間違った動作をしていたのでしょうか? 私たちは行動に答える。 シミュレーション環境、カスタマサービスポリシ、ツール使用、Webナビゲーション、コーディングのエージェント決定状態の凍結ベンチマークでは、すべての次のアクション質問と、同じ状態に関する事実調査をペアリングし、それぞれが独立して回答します。 17の高速システムと推論モデルにまたがって、答えは一貫している — ほとんどの誤ったアクションは正しい読み取りに従っており、システムの方が正確であればなるほど、そのエラーがこの形式を取る。 これらのエラーはノイズではなく、あらゆる種類のシステムにまたがる同じ状態に集まります。 調査対象の事実が確実にアクションを決定する場合、すべての事実を読み取るモデルは、依然としてそれらを組み合わせることができず、コードによって構成された自身の回答は、失敗を修復する。 現実の状態では、欠けていることは事実ではなく、次のサブゴールであることが多い。

関連論文リスト

• Agents Are Systems, Not Models: Rethinking Agentic Evaluation [80.87068485535677]
  エージェントの構成の5つの部分(タスク情報、推論、自己検証、時間予算、バックボーンモデル)について検討する。 結果の約54%は、変更ではなく、同じ構成を繰り返すことによるものです。 ベンチマークと18,000以上のエージェントトラジェクトリをリリースする。
  論文  参考訳（メタデータ） (2026-10-01T12:55:07Z)
• Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding [65.85599131866623]
  私たちはJevとContractNLIの9つの言語モデルを比較します。 制御された比較は、仮説の可視性、要求された出力、および出力順序によって異なる。 Jevは、評価された構成の中で、最低コストと中央値のレスポンス時間を持っています。
  論文  参考訳（メタデータ） (2026-09-23T10:53:01Z)
• How Strongly Should Task State Influence an LLM Agent? [20.501736782803743]
  ロングホライズンに割り当てられた作業は、タスクの状態を追跡するためにLLMエージェントを必要とする。 表示、説明、強制された状態からどれだけの信頼性があるかは、誰も知りません。 タスクルール、モデル、ペア化されたエピソードを修正し、タスク状態がエージェントにどれだけ強く到達するかを変える。
  論文  参考訳（メタデータ） (2026-09-22T04:42:44Z)
• Do LiDAR Language Models Really Understand Spatio-temporal Relationships? [62.56505727364142]
  ベンチマークと診断プロトコルであるLiDAR-Halluを150 nusのシーンで紹介する。 提案プロトコルは,固定回答と候補コンテンツ制御,クロスシーンペアを同一のプロンプトで組み合わせるが,参照応答は逆で,リレーショナルなリコールを行う。 記録された10万の応答の分析は、集合的空間精度によって隠された失敗を明らかにする。
  論文  参考訳（メタデータ） (2026-09-21T11:59:07Z)
• GameLogicBench: Evaluating Coding Agents on Runtime Game Logic with Tick-Level State Assertions [37.944046267001745]
  コーディングエージェントは、大規模なソフトウェアプロジェクト間でコードを変更およびテストすることができる。 現在のゲーム開発ベンチマークでは、固定された例を再生したり、ビデオをスコアしたり、他のモデルに結果の判断を依頼する。 我々はGodotプロジェクトにおける72のゲームプレイ論理タスクのベンチマークであるGameLogicBenchを紹介する。
  論文  参考訳（メタデータ） (2026-09-18T09:51:41Z)
• The Working Set of a Coding Agent: Coherence Debt in Repository-Scale Tasks [14.070053515623883]
  リポジトリスケールのコーディングには、テスト、インポート、設定、マイグレーションルールを境界付けられたコンテキストウィンドウ内で一貫性を保つためのエージェントが必要である。 7つのモデルと5つのハーネスに障害を注入します。 リネームが実際のライブラリについて記憶したモデルを破ると、7つすべてが同じ場所で失敗し、同じテストがパスして失われる。
  論文  参考訳（メタデータ） (2026-08-17T14:30:41Z)
• Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
  ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか? アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
  論文  参考訳（メタデータ） (2026-08-11T16:18:34Z)
• VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
  マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか? VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。 ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
  論文  参考訳（メタデータ） (2026-06-05T22:06:07Z)
• Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
  モデル・オーガニゼーションのベンチマークであるPandoを紹介します。 Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。 説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
  論文  参考訳（メタデータ） (2026-04-13T06:42:24Z)
• Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
  大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。 単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。 現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。 AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
  論文  参考訳（メタデータ） (2025-09-29T18:20:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。