論文の概要: Improving Environment-Agnostic Agents: The Role of Scaffolding
- arxiv url: http://arxiv.org/abs/2610.22289v2
- Date: Mon, 19 Oct 2026 11:28:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 06:32:45.321847
- Title: Improving Environment-Agnostic Agents: The Role of Scaffolding
- Title(参考訳): 環境非依存エージェントの改善--スキャッフィングの役割
- Abstract要約: より強力な言語モデル上に構築されたエージェントは、自分たちで有用な手続きを構築できるかもしれない。
この利点が持続する理由と,環境工学を使わずに環境非依存のエージェントを改良できるかどうかを検討する。
ARC-AGI-3, AGI Maze, Terminal-Bench 上で, Codex ベースのエージェントをほぼ同一のプロンプト変種で評価した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agents built on stronger language models may increasingly construct useful procedures for themselves, reducing the advantage of developer-supplied scaffolding. We investigate why this advantage persists and whether an environment-agnostic agent can be improved without environment-specific engineering. We evaluate a Codex-based agent in two nearly identical prompt variants on ARC-AGI-3, AGI Maze, and Terminal-Bench. Each variant is deployed with unchanged code, prompts, and general-purpose tools across environments, receiving environment-specific information as input. Changing only an instruction to encourage reporting difficulties and returning control for automatic continuation improves mean scores on both ARC-AGI-3 and AGI Maze, while Terminal-Bench shows small, mixed changes. Yet the general agent remains below an ARC-AGI-3-specific reference, including with GPT-5.6-sol. The reference prescribes organization and control rather than supplying new game rules or solutions. To investigate this gap, we transfer reset decisions to a scripted controller that follows a convention already given to the agent. This small change recovers part of the specialized agent's advantage. A complementary AGI Maze experiment shows that additional tutorial experience can reduce performance. Together, these findings highlight the distinction between having information and tools available and using them effectively. Supplied procedures still matter for the models tested here. The performance gains also come with higher token-based cost. The experiments do not separate better use of information and procedures from additional or differently allocated inference. We provide the EnvTraverse framework and an evaluated baseline agent for testing whether further environment-independent changes improve performance in some environments without degrading it in others.
- Abstract(参考訳): より強力な言語モデル上に構築されたエージェントは、開発者が提供するスキャフォールディングの利点を減らし、自分たちで有用な手順を構築することができる。
この利点が持続する理由と,環境工学を使わずに環境非依存のエージェントを改良できるかどうかを検討する。
ARC-AGI-3, AGI Maze, Terminal-Bench 上で, Codex ベースのエージェントをほぼ同一のプロンプト変種で評価した。
各変種は変更のないコード、プロンプト、および環境全体にわたる汎用ツールでデプロイされ、環境固有の情報を入力として受信する。
報告の困難を助長し、自動継続のための制御を返すための指示だけを変えることで、ARC-AGI-3とAGI Mazeの双方の平均スコアが向上する一方、Terminal-Benchは小さく、混合的な変化を示している。
しかし、一般剤は GPT-5.6-sol を含むARC-AGI-3 の基準以下である。
参照は、新しいゲームルールやソリューションを提供するのではなく、組織とコントロールを規定する。
このギャップを調査するために、すでにエージェントに与えられた規約に従っているスクリプトコントローラーにリセット決定を転送する。
この小さな変化は、特殊エージェントの利点の一部を回復させる。
補足的なAGI Maze実験は、追加のチュートリアル体験によってパフォーマンスが低下することを示している。
これらの知見は、情報とツールが利用可能であることと、それらを効果的に利用することの区別を浮き彫りにした。
ここでテストされたモデルの補充手順は依然として重要です。
パフォーマンス向上にはトークンベースのコストも高くなる。
実験は、情報と手続きのより良い使用と、追加または異なる割り当てられた推論とを区別しない。
EnvTraverseフレームワークと評価ベースラインエージェントを提供し、環境に依存しないさらなる変更が、他の環境では劣化することなく、性能を向上させるかどうかをテストする。
関連論文リスト
- S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? [66.17176838165994]
大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。
エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。
LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
論文 参考訳(メタデータ) (2026-08-31T17:05:41Z) - A Few Pages of Markdown: Committed AI Configuration and Lower Quality Cost after Coding-Agent Adoption [33.31789388282026]
コーディングエージェントは開発速度を増加させるだけでなく、技術的負債も増す。
以前の作業では、採用者の平均的な影響しか報告せず、チーム間の大きな違いを隠蔽しています。
私たちは、バージョン管理アーティファクトに基づく4段階の累積成熟モデルであるRAMPを紹介します。
論文 参考訳(メタデータ) (2026-08-26T00:00:48Z) - AgentSZZ: Teaching the LLM Agent to Play Detective with Bug-Inducing Commits [14.213358505741105]
AgentSZZは、バグを引き起こすコミットを特定するエージェントベースのフレームワークである。
従来の方法とは異なり、AgentSZZはタスク固有のツール、ドメイン知識、ReActスタイルのループを統合し、バグの適応的および因果的トレースを可能にする。
実験によると、AgentSZZはすべての設定で最先端のSZZアルゴリズムより一貫して優れている。
論文 参考訳(メタデータ) (2026-04-03T02:54:02Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳(メタデータ) (2026-03-23T14:48:54Z) - ET-Agent: Incentivizing Effective Tool-Integrated Reasoning Agent via Behavior Calibration [68.89572566071575]
ETAgentはエージェントのツール使用行動を調整するためのトレーニングフレームワークである。
過誤行動パターンを最適行動に段階的に校正するように設計されている。
論文 参考訳(メタデータ) (2026-01-11T11:05:26Z) - How Can Input Reformulation Improve Tool Usage Accuracy in a Complex Dynamic Environment? A Study on $τ$-bench [58.114899897566964]
マルチターンの会話環境では、大きな言語モデル(LLM)は、一貫性のある推論とドメイン固有のポリシーへの固執にしばしば苦労する。
本稿では,関連するドメインルールを付加したユーザクエリを自動的に再構成するIRMA(Input-Reformulation Multi-Agent)フレームワークを提案する。
IRMAはReAct、Function Calling、Self-Reflectionをそれぞれ16.1%、12.7%、19.1%で大きく上回っている。
論文 参考訳(メタデータ) (2025-08-28T15:57:33Z) - AEGIS: An Agent-based Framework for General Bug Reproduction from Issue Descriptions [10.686849324750556]
gEneral buG reproductIon Scripts 生成フレームワークは AEGIS という名称で、タスクのための最初のエージェントベースのフレームワークである。
AEGISは、Agentlessの相対的な解決率を12.5%向上させることができる。
論文 参考訳(メタデータ) (2024-11-27T03:16:47Z) - A Unified Debugging Approach via LLM-Based Multi-Agent Synergy [39.11825182386288]
FixAgentはマルチエージェントのシナジーによる統合デバッグのためのエンドツーエンドフレームワークである。
1.25$times$ 2.56$times$レポレベルのベンチマークであるDefects4Jのバグを修正した。
論文 参考訳(メタデータ) (2024-04-26T04:55:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。