論文の概要: On the Fragility of Self-Improving Agents: Variance, Task Order, and Underspecification
- arxiv url: http://arxiv.org/abs/2608.18066v1
- Date: Tue, 18 Aug 2026 17:55:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.436789
- Title: On the Fragility of Self-Improving Agents: Variance, Task Order, and Underspecification
- Title（参考訳）: 自己改善剤の脆弱性について--変数・タスク順序・不特定性
- Abstract要約: メモリベースの自己改善エージェントは、最近の文献で非常に有望である。
しかし、これらの手法の信頼性の側面は著しく見過ごされている。
本研究では,メモリベースの2つの手法の総合的な再評価を行う。
- 参考スコア（独自算出の注目度）: 37.24852847838588
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Memory-based self-improving agents--those that learn from an online stream of tasks and improve over time by maintaining a textual memory bank--have shown great promise in recent literature. However, the reliability aspects of these methods have been critically overlooked. In this work, we conduct a comprehensive re-evaluation of two memory-based methods, broadening the scope of evaluation along two axes: (1) including multiple runs to quantify variance, and (2) randomly shuffling the tasks to investigate the effect of task order. Through these experiments, we make two observations that expose the fragility of current methods: First, agent evaluation is inherently noisy in complex environments and on multi-step tasks, and stacking a self-improving loop on top can further amplify this noise. Second, the agent's improvement is highly dependent on task order. Prior works often adopt default orderings that impose an implicit curriculum, acting as a hidden prerequisite for success. To better understand this fragility, we manually examine the agents' memory and hypothesize that task and environment underspecification contribute to this fragility. We validate this hypothesis by incorporating information that enables better specification, such as detailed rubrics and environment feedback, into the memory construction process. While this added information partially closes the performance degradation in previous experiments, significant gaps still remain, suggesting that other uncharacterized factors contribute to this fragility. Looking ahead, our work advocates for more rigorous evaluation protocols for self-improving agents by reporting results across multiple runs and stress-testing them under challenging conditions. Moreover, our findings on underspecification call for systems and interfaces that enable effective human oversight, preventing agents from failing in unforeseeable ways.
- Abstract（参考訳）: タスクのオンラインストリームから学習し、テキストメモリバンクを維持することで時間とともに改善する、メモリベースの自己改善エージェントは、近年の文献で大きな可能性を秘めている。
しかし、これらの手法の信頼性の側面は著しく見過ごされている。
本研究では,2つのメモリベースの手法を総合的に再評価し,(1)分散を定量化するための複数の実行を含む2つの軸に沿った評価範囲を広げ,(2)タスクをランダムにシャッフルしてタスク順序の影響を調査する。
エージェント評価は、複雑な環境やマルチステップタスクにおいて本質的にノイズがあり、上部に自己改善ループを積み重ねることで、このノイズをさらに増幅することができる。
第2に、エージェントの改善はタスク順序に大きく依存する。
事前の作業では、成功のための隠れた前提条件として、暗黙のカリキュラムを課すデフォルトの注文を採用することが多い。
この脆弱性をよりよく理解するために、エージェントの記憶を手動で調べ、タスクと環境の過小評価がこの脆弱性に寄与するという仮説を立てる。
我々は,メモリ構築プロセスに詳細なルーリックや環境フィードバックといった,より優れた仕様を組み込むことで,この仮説を検証した。
この追加情報によって、以前の実験でのパフォーマンス低下が部分的に解消されるが、大きなギャップは依然として残っており、他の特性のない要因がこの脆弱性に寄与していることを示している。
今後は、複数の実績を報告し、厳しい条件下でストレステストを行うことにより、より厳格な自己改善エージェントの評価プロトコルを提案します。
さらに,本研究は,人体を効果的に監視し,エージェントが予期せぬ方法で失敗することを防止できるシステムやインターフェースの過小評価に関する知見を提示する。
関連論文リスト
- S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? [66.17176838165994]
大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。
エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。
LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
論文 参考訳（メタデータ） (2026-08-31T17:05:41Z) - AgentCL: Toward Rigorous Evaluation of Continual Learning in Language Agents [30.801952443449633]
継続的な学習は、エージェントが一連のタスクに再利用可能な経験を蓄積し、時間とともに改善し、無関係な経験からの干渉を避けることを期待する。
ほとんどの取り組みは、長いコンテキストの会話やドキュメントに対する検索と推論に重点を置いているが、最近の長命適応ベンチマークは、しばしば単純なタスクストリームに依存している。
本稿では、制御されたタスクストリームと転送利得のメトリクスに着目した連続学習エージェントのための評価フレームワークAgentCLを提案する。
論文 参考訳（メタデータ） (2026-06-01T16:32:59Z) - RepoMirage: Probing Repository Context Reasoning in Code Agents with Perturbations [51.43574078961796]
本稿では,SWE-Bench Verified上に構築された2段階評価スイートRepoMirageを紹介する。
RepoMirage-Perturbは、リポジトリレベルの摂動を保存する3つのタイプのセマンティクスを適用している。
RepoAnchorは、下流の問題解決からリポジトリの探索を分離する構造第一のプロトタイプワークフローである。
論文 参考訳（メタデータ） (2026-05-25T06:26:43Z) - Towards a Science of AI Agent Reliability [9.570634569436535]
AIエージェントは、重要なタスクを実行するためにますますデプロイされる。
標準ベンチマークにおける精度の上昇は急速な進歩を示唆する一方で、多くのエージェントが実際に失敗し続けている。
エージェントの信頼性を4つの重要な次元(一貫性、堅牢性、予測可能性、安全性)に沿って分解する12のメトリクスを提案する。
論文 参考訳（メタデータ） (2026-02-18T18:05:44Z) - TRACE: Trajectory-Aware Comprehensive Evaluation for Deep Research Agents [51.30998248590416]
Trajectory-Aware Comprehensive Evaluation (TRACE) は、問題解決の軌道全体を評価するフレームワークである。
私たちのコントリビューションには、TRACEフレームワーク、その新しいメトリクス、および制御可能な複雑さを伴うDeepResearch-Benchが含まれています。
論文 参考訳（メタデータ） (2026-02-05T13:28:57Z) - TIDE: Trajectory-based Diagnostic Evaluation of Test-Time Improvement in LLM Agents [43.376952807616256]
自律型LLMエージェントの最近の進歩は、環境との反復的相互作用によって性能を向上させる能力を示している。
本稿では,TTIを3つの包括的かつ相互接続的な次元に分解するエージェント非依存および環境非依存のフレームワークであるテスト時間改善診断評価(TIDE)を提案する。
論文 参考訳（メタデータ） (2026-02-02T15:00:47Z) - Agentic Uncertainty Quantification [76.94013626702183]
本稿では,言語化された不確実性をアクティブな双方向制御信号に変換する統合されたデュアルプロセスエージェントUQ(AUQ)フレームワークを提案する。
システム1(Uncertainty-Aware Memory, UAM)とシステム2(Uncertainty-Aware Reflection, UAR)は、これらの説明を合理的な手段として利用し、必要な時にのみターゲットの推論時間解決をトリガーする。
論文 参考訳（メタデータ） (2026-01-22T07:16:26Z) - The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution [63.61358761489141]
LLM(Large Language Model)ベースのエージェントは、カスタマーサービス、Webナビゲーション、ソフトウェアエンジニアリングといった現実世界のアプリケーションで広く使われている。
本稿では,タスク結果に関係なく,エージェントの動作を駆動する内部要因を識別する,テキスト汎用エージェント属性のための新しいフレームワークを提案する。
標準ツールの使用やメモリ誘起バイアスのような微妙な信頼性リスクなど、さまざまなエージェントシナリオでフレームワークを検証する。
論文 参考訳（メタデータ） (2026-01-21T15:22:21Z) - What Do LLM Agents Know About Their World? Task2Quiz: A Paradigm for Studying Environment Understanding [50.35012849818872]
大規模言語モデル(LLM)エージェントは、複雑な意思決定やツール使用タスクにおいて顕著な能力を示した。
本研究では,タスク実行と世界状態理解の分離を目的とした決定論的かつ自動評価パラダイムであるTask-to-Quiz(T2Q)を提案する。
実験の結果,タスク成功は環境理解の指標として不十分な場合が多く,現在の記憶機構はエージェントが環境の基底モデルを取得するのに有効ではないことが明らかとなった。
論文 参考訳（メタデータ） (2026-01-14T14:09:11Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z) - Learning Embeddings for Sequential Tasks Using Population of Agents [27.61165606165948]
強化学習におけるタスクの定次元埋め込みを学習するための情報理論フレームワークを提案する。
1つのタスクでエージェントのパフォーマンスを観察すると、もう1つのタスクでエージェントのパフォーマンスに関する不確実性が低下する。
論文 参考訳（メタデータ） (2023-06-05T23:38:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。