論文の概要: When Should Agents Remember? Falsification-Gated Self-Evolution for LLM Agents
- arxiv url: http://arxiv.org/abs/2611.14326v1
- Date: Tue, 10 Nov 2026 16:52:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 04:24:43.905825
- Title: When Should Agents Remember? Falsification-Gated Self-Evolution for LLM Agents
- Title(参考訳): エージェントはいつ覚えるべきか? LLMエージェントの自己進化
- Abstract要約: FGSE(Falsification-Gated Self-Evolution)は、各候補の授業を構造化仮説として表現する検証済みの枠組みである。
FGSEはこの仮説を一時的な状態にのみ適用し、ターゲット・トランスファー、ファルシフィケーション、アーカイブされた回帰プローブでテストし、測定された利得とリスクに応じてコミット、精査、拒否する。
Web、アプリ、ツール使用、長期メモリベンチマーク全体で、FGSEは39.8 WebArena成功率、78.8 AppWorld平均完成率、0.724/0.487 Passを含む、強力なタスクパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 5.558897150967209
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM agents increasingly operate in long-horizon, verifier-rich environments, but current self-improvement mechanisms often write episode-derived lessons directly into memory, making local success an unreliable signal for reusable and safe knowledge. This paper addresses the core question of when an experience-derived behavioral update should be admitted into persistent agent state. We propose Falsification-Gated Self-Evolution (FGSE), a verifier-grounded framework that represents each candidate lesson as a structured hypothesis with an explicit precondition, behavior change, expected effect, and verifier. FGSE applies the hypothesis only in a temporary state, tests it on target-transfer, falsification, and archived-regression probes, and then commits, refines, or rejects it according to measured gain and risk. Across web, app, tool-use, and long-term memory benchmarks, FGSE achieves strong task performance, including 39.8 WebArena success rate, 78.8 AppWorld average completion, and 0.724/0.487 Pass$^1$ on $τ$-Retail/$τ$-Airline, while reducing falsification failures to 5.0%, regression damage to 1.3%, and harmful committed updates to 3.6%. These results suggest that testing memory updates as hypotheses supports more reliable long-term adaptation.
- Abstract(参考訳): LLMエージェントは、長期で検証可能な環境においてますます機能するが、現在の自己改善メカニズムは、しばしばエピソード由来の教訓を直接記憶に書き込むため、局所的な成功は再利用可能な安全な知識のための信頼性の低いシグナルとなる。
本稿では,経験に基づく行動更新を永続的エージェントの状態に認識すべきかどうかという問題に対処する。
提案するFalsification-Gated Self-Evolution(FGSE, Falsification-Gated Self-Evolution, FGSE)は,各候補の授業を,明示的な前提条件,行動変化,期待された効果,検証を行う構造化仮説として表現する検証済みのフレームワークである。
FGSEはこの仮説を一時的な状態にのみ適用し、ターゲット・トランスファー、ファルシフィケーション、アーカイブされた回帰プローブでテストし、測定された利得とリスクに応じてコミット、精査、拒否する。
Web、アプリ、ツール使用、長期メモリのベンチマークを通じて、FGSEは39.8 WebArena成功率、78.8 AppWorld平均完成率、0.724/0.487 Pass$^1$ on $τ$-Retail/$τ$-Airlineを含む強力なタスクパフォーマンスを達成している。
これらの結果は、メモリ更新を仮説としてテストすることは、より信頼性の高い長期適応を支援することを示唆している。
関連論文リスト
- Staying on the Attack Path: Structured State for Long-Horizon Automated Penetration Testing [17.809156797437208]
Intentestはインテントグラフ誘導型自動浸透試験剤である。
LLMのコンテキストウィンドウからの長い水平状態を、永続的なファクトインテント指向の非巡回グラフに外部化する。
総合的な成功率は88.2%、成功率は75.0%である。
論文 参考訳(メタデータ) (2026-09-07T11:09:01Z) - Auditing Self-Evolution in Financial Agents: Capability Gains, Security Drift, and Execution-Interface Mismatch [1.2402418528920522]
自己進化型エージェントは、経験を再利用可能なスキル、記憶、記憶に変えるが、進化後の精度だけでは、学習した行動が以前正しい行動やセキュリティを保持するかどうかを示さない。
我々はSkillOpt、Agens Memory、ReasoningBankを、一致する良性獲得トラジェクトリ、封印された評価エンドポイント、実行済みチェック、独立状態リプレイを使用して、模擬eバンキングで監査する。
論文 参考訳(メタデータ) (2026-08-18T11:57:44Z) - PACE: Anytime-Valid Acceptance Tests for Self-Evolving Agents [0.0]
自己進化型エージェントは、自身のプロンプト、スキル、オーモーフィケーションの変更を繰り返し提案することで改善する。
Qwen2.5 のエージェント (0.5B-3B) が GSM8K, SVAMP, ARC-Challenge のプロンプトレベルで自己進化する際、greedy は 30-42% の偽陽性と 10-33% の有害な編集をコミットする。
PACEは実際のものをコミットし、グリーディのホールトアウトの精度を著しく低いばらつきと約18%低い評価コストで一致させる。
論文 参考訳(メタデータ) (2026-06-06T11:12:11Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳(メタデータ) (2026-05-12T09:56:28Z) - ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。
IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。
当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
論文 参考訳(メタデータ) (2026-04-09T10:26:32Z) - Know When You're Wrong: Aligning Confidence with Correctness for LLM Error Detection [0.0]
大規模言語モデル(LLM)は、ますます重要な意思決定システムにデプロイされている。
出力アンカートークン確率に基づく正規化信頼スコアを導入する。
これにより、最小限のオーバーヘッドでエラーや幻覚を直接検出できる。
論文 参考訳(メタデータ) (2026-02-18T07:05:12Z) - TestExplora: Benchmarking LLMs for Proactive Bug Discovery via Repository-Level Test Generation [19.43198506241428]
提案するTestExploraは,大規模言語モデルを積極的なテスタとして評価するためのベンチマークである。
TestExploraには482リポジトリから2,389のタスクが含まれており、すべての欠陥関連信号を隠している。
現状のモデルでは、F2P(Fail-to-Pass)の最大率は16.06%である。
論文 参考訳(メタデータ) (2026-02-11T03:22:51Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳(メタデータ) (2025-09-15T02:25:38Z) - AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。
テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。
アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
論文 参考訳(メタデータ) (2025-04-29T17:36:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。