論文の概要: ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step

• arxiv url: http://arxiv.org/abs/2608.02358v1
• Date: Mon, 03 Aug 2026 15:07:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.62007
• Title: ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step
• Title（参考訳）: ScrambleToolBench: エージェントは、自分のマップが次のステップを指しているときでさえ、徹底的に検索する
• Abstract要約: ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。 このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。 現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
• 参考スコア（独自算出の注目度）: 74.83535434786145
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: To operate robustly in open-world environments, autonomous agents should be able to infer the behavior of unfamiliar systems through interaction alone, even in the absence of documentation. However, existing tool-use benchmarks expose semantic tool schemas in static environments, allowing agents to rely on prior knowledge rather than autonomous discovery. To address this limitation, we introduce ScrambleToolBench, an interactive terminal benchmark designed to isolate behavioral reasoning. By removing semantic cues and enforcing a continuous task curriculum, the benchmark requires agents to uncover hidden tool behaviors entirely through trial-and-error interaction. The benchmark further introduces dynamic challenges, including mapping drift, stochastic action failures, and temporal execution windows, to evaluate whether agents can revise and adapt their hypotheses as the environment changes. Our evaluation of state-of-the-art language models reveals that successful initial discovery does not translate into robust adaptation. When faced with structural changes such as mapping drift, agents fail to use deductive strategies such as cycle tracing, and instead exhibit belief inertia or fall back to exhaustive search. Increasing test-time reasoning only amplifies this expensive brute-force search rather than enabling deductive recovery. While equipping agents with persistent memory reduces compounding errors, they remain unable to efficiently infer structural changes, highlighting a gap in current agent reasoning.
• Abstract（参考訳）: オープンな環境で堅牢に運用するためには、自律的なエージェントは、ドキュメントがなくても、インタラクションだけで、馴染みのないシステムの振る舞いを推測できる必要があります。 しかし、既存のツール使用ベンチマークでは、静的環境におけるセマンティックツールスキーマが公開されており、エージェントは自律的な発見ではなく、事前の知識に頼ることができる。 この制限に対処するために、動作推論を分離するために設計された対話型端末ベンチマークであるScrambleToolBenchを紹介する。 セマンティックなキューを削除し、継続的タスクのカリキュラムを強制することにより、ベンチマークは、エージェントがトライアルとエラーのインタラクションによって完全に隠されたツールの振る舞いを明らかにする必要がある。 このベンチマークはさらに、マッピングドリフト、確率的動作障害、時間的実行ウィンドウなどの動的な課題を導入し、エージェントが環境の変化に応じて仮説を修正および適応できるかどうかを評価する。 現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。 地図のドリフトのような構造変化に直面したとき、エージェントはサイクルトレースのような誘惑的な戦略を使わず、代わりに信念の慣性を示すか、徹底的な探索に戻る。 テスト時間推論の増大は、この高額なブルートフォースサーチを誘引的リカバリを可能にするのではなく、増幅するだけである。 永続的メモリを持つエージェントは複合的エラーを低減させるが、構造的変化を効率的に推測することができず、現在のエージェント推論のギャップを浮き彫りにする。

関連論文リスト

• Are Android GUI Agents Robust Against Runtime Anomalies? AnTrap: Evaluating Agents in Dynamic Adversarial Environments [19.009627117174947]
  エージェントの実行軌跡に動的摂動を注入する総合ベンチマークAnTrapを導入する。 本研究では,現実世界の異常を4つの層(状態,思考,行動,ラウンド)に分類する分類法を提案する。 また,現実的な対向条件を導入しながら,課題解決可能性を維持する構築パイプラインも開発している。
  論文  参考訳（メタデータ） (2026-08-25T05:57:25Z)
• From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
  大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。 最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。 縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。 IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
  論文  参考訳（メタデータ） (2026-08-03T12:52:04Z)
• Verified Tool Calls Improve LLM Agent Reliability Under Non-Atomic Failures [0.0]
  現実世界のシステムは、ディスパッチ後のタイムアウト、遅延可視性、部分的な状態更新など、非原子的な振る舞いを示す。 これらのミスマッチは、重複アクション、タスク成功、不要なツール実行などの信頼性の問題を引き起こす。 ライトウェイトで検証対応のツールラッパーが導入されており、ツールコールをポストコンディション検証、バリデーション前ロジック、イデオロケーションキーで拡張する。
  論文  参考訳（メタデータ） (2026-07-31T16:16:14Z)
• DocOS: Towards Proactive Document-Guided Actions in GUI Agents [54.27655693145045]
  textbfDocOSは、完全にインタラクティブな環境で文書誘導問題解決を評価するために設計されたベンチマークである。 実験の結果、エージェントはプロアクティブ検索中に関連情報を確実に見つけるのに苦労し、検索した指示を忠実に正確な行動に移すのに失敗することが判明した。
  論文  参考訳（メタデータ） (2026-05-18T08:36:04Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)
• AutoAgent: Evolving Cognition and Elastic Memory Orchestration for Adaptive Agents [26.380991138110925]
  AutoAgentは、認知の進化、オンザフライでのコンテキスト決定、弾力性のあるメモリオーケストレーションに基づく、自己進化型のマルチエージェントフレームワークである。 各エージェントは、ツール、自己能力、同僚の専門知識、タスク知識に関する構造化されたプロンプトレベルの認知を維持する。 AutoAgentは、静的およびメモリ拡張ベースラインに対するタスク成功、ツール使用効率、共同ロバスト性を一貫して改善する。
  論文  参考訳（メタデータ） (2026-03-10T14:23:49Z)
• The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution [63.61358761489141]
  LLM(Large Language Model)ベースのエージェントは、カスタマーサービス、Webナビゲーション、ソフトウェアエンジニアリングといった現実世界のアプリケーションで広く使われている。 本稿では,タスク結果に関係なく,エージェントの動作を駆動する内部要因を識別する,テキスト汎用エージェント属性のための新しいフレームワークを提案する。 標準ツールの使用やメモリ誘起バイアスのような微妙な信頼性リスクなど、さまざまなエージェントシナリオでフレームワークを検証する。
  論文  参考訳（メタデータ） (2026-01-21T15:22:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。