論文の概要: The Default Trap: Rethinking Plan Evaluation in Tool-Using LLM Agents
- arxiv url: http://arxiv.org/abs/2609.36829v1
- Date: Tue, 29 Sep 2026 06:38:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.243236
- Title: The Default Trap: Rethinking Plan Evaluation in Tool-Using LLM Agents
- Title(参考訳): デフォルト・トラップ:ツール・ユース・LLMエージェントの計画評価再考
- Abstract要約: 実行者は、同じ情報選択確率の小さな変化を示しながら、供給された計画の優先度の変化に強く対応することができる。
異なる情報ターゲットを優先するペアプランを、共有のノープラン参照と比較する。
これらの知見は、優先度応答性、プレゼンテーション依存のデフォルト、タスクの成功とコストを共同で報告することを支援する。
- 参考スコア(独自算出の注目度): 0.49644055902166656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An executor can respond strongly to a change in a supplied plan's priority while showing a small change in the same information-selection probability when a default-aligned whole plan is removed. We call the risk of interpreting the latter as weak responsiveness to alternative priorities the default trap. We compare paired plans that prioritize different information targets with a shared no-plan reference. An accounting identity relates these distinct behavioral contrasts. Across 3,200 decision windows on 160 selected Retail, Airline, and AgentDojo tasks, switching priorities strongly redirects two models' choices, while the two plan-versus-default contrasts differ. In 2,160 additional windows, reversing account-list order shifts default target selection by 63.3-98.3 percentage points; priority-switching effects remain 96.7-100.0 points in either order. A separate 3,240-window component study finds strong control under single priority sentences, with effects of additional text varying by group and direction. Finally, 1,080 full-task episodes yield observed success differences of -19.4 to +8.3 points relative to no plan. All Retail and Airline success intervals include zero; AgentDojo results describe four fixed application worlds. These findings support joint reporting of priority responsiveness, presentation-dependent defaults, and task success and cost.
- Abstract(参考訳): 実行者は、デフォルトに整合した全計画が削除された場合に、同じ情報選択確率の小さな変化を示しながら、供給された計画の優先順位の変更に強く対応することができる。
私たちは後者を、デフォルトのトラップである代替プライオリティに対する弱い応答性であると解釈するリスクと呼んでいる。
異なる情報ターゲットを優先するペアプランを、共有のノープラン参照と比較する。
会計のアイデンティティは、これらの異なる行動のコントラストを関連づける。
160の選択したRetail、Airline、AgentDojoタスクの3200以上の決定ウィンドウでは、優先順位の変更は2つのモデルの選択を強くリダイレクトするが、2つのプラン対デフォルトのコントラストが異なる。
2160の追加ウィンドウでは、アカウントリストの順序を逆転させることで、デフォルトのターゲット選択を63.3-98.3ポイントにシフトする。
異なる3,240のウィンドウ成分の研究は、グループと方向によって異なる追加のテキストの影響で、単一の優先度文の下で強い制御を見出す。
最後に1080回のフルタスクエピソードは、計画外の19.4点から+8.3点の成功率の差を観測した。
RetailとAirlineの成功間隔はすべてゼロで、AgentDojoの結果には4つの固定されたアプリケーションの世界が記述されている。
これらの知見は、優先度応答性、プレゼンテーション依存のデフォルト、タスクの成功とコストを共同で報告することを支援する。
関連論文リスト
- LIBERO-MAX: Do Robot Policies Adapt When the World Changes? [61.52324972910026]
多くのシミュレーションロバストネスベンチマークは、リセット時に外部条件を修正し、この時間的課題を過小評価する。
LIBERO-MAXは、幾何学、観察、外観、乱雑、経路の8種類の変化にまたがる8000のペアケースのベンチマークである。
各ペアはタスク実行と、タスク、初期状態、ポリシーシード、修正前のアクションシーケンスを保持する中タスクイベントとを比較します。
論文 参考訳(メタデータ) (2026-09-29T02:12:26Z) - RobustSGPO: Search-Space Control for Agent Harness Evolution [56.722805974785125]
我々は、要求された編集、構成、パッチのチェックを指定し、既存のスナップショットまたは保持スナップショットからの検索を継続するRobustSGPOを紹介した。
我々は,120タスク,95ラン,7350の候補を用いて,AgentXブレインストーミングワークフローにおけるパーミッションスケジューリング,累積制御,タスクファミリー転送を評価した。
論文 参考訳(メタデータ) (2026-09-09T03:00:03Z) - Governance Records as Supervision: Verifier-Selected Self-Training for Structured Workflow Repair [0.0]
マシン検証可能なガバナンスレコードは、タスク契約、モデル試行、検証者決定、承認された出力、ターゲットオリジンをリンクする。
これらのレコードが有界モデルを監督し、時々、または高価な機能を信頼できるワンショット実行に統合できるかどうかをテストする。
論文 参考訳(メタデータ) (2026-08-18T21:16:43Z) - Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents [29.96375986740068]
Harness-IFは、実行証拠から一度に1つの運用ルールをスコアする。
AP-Accは、不正なデフォルトに対してラベル付けされたルールのみをスコアする。
論文 参考訳(メタデータ) (2026-08-12T07:07:57Z) - Strategic Evaluation of Planning Strategies for LLM Agents in Cyber-Physical Systems [0.0]
計画誘導制御トラジェクトリを中心に構築されたベンチマークを導入する。
スマートグリッドの需要応答システムにシーケンシャルで階層的で検索エグゼクティブを実装している。
強制探索は5つの基本種子のオラクルであることを示す。
論文 参考訳(メタデータ) (2026-08-04T22:52:21Z) - Paired Exact-Reset Evaluation of a Prediction-Derived Medium-to-Full World-Model Cascade [0.0]
ペア化された正確な物理結果の下では、Mediumベースのインターフェースは、個別に凍結されたFull予測器に切り替えた時に、シーケンシャルなオーバーヘッドを正当化するのに十分なタスク固有の決定損失を改善することができるか?
私たちのコントリビューションは、新しい汎用ルーティングルールではなく、ペア評価と監査プロトコルです。
論文 参考訳(メタデータ) (2026-07-30T18:35:13Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳(メタデータ) (2026-06-29T06:39:03Z) - Ask Early, Ask Late, Ask Right: When Does Clarification Timing Matter for Long-Horizon Agents? [0.7199239000118145]
本稿では,エージェントの軌道の制御点における接地真実の明確化を提供する強制注入フレームワークを提案する。
明確化の価値は、どの情報が欠落しているかに大きく依存している。
300のセッションを補完する研究により、現在のフロンティアモデルは経験的に最適なウィンドウ内では問わないことが明らかになった。
論文 参考訳(メタデータ) (2026-05-08T16:08:03Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳(メタデータ) (2025-12-09T06:52:21Z) - Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。
本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
論文 参考訳(メタデータ) (2024-05-13T14:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。