論文の概要: S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement?
- arxiv url: http://arxiv.org/abs/2608.31100v1
- Date: Mon, 31 Aug 2026 17:05:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.533164
- Title: S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement?
- Title（参考訳）: S3Gym: LLMは自己テストと自己判断を自己改善に変えることができるか?
- Abstract要約: 大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。
エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。
LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
- 参考スコア（独自算出の注目度）: 66.17176838165994
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) increasingly interact with external environments and accumulate substantial behavioral experience, yet existing agent benchmarks largely evaluate them as fixed policies. It therefore remains unclear whether an agent can actively test its behavior, judge the resulting experience, and use that experience to improve future decisions. We introduce \textbf{S\textsuperscript{3}Gym}, an interactive benchmark for evaluating LLM self-improvement through three coupled capabilities: \textbf{Self-Testing}, \textbf{Self-Judging}, and \textbf{Self-Improvement}. S$^3$Gym separates permissive exploration from strict held-out evaluation and instantiates this protocol in seven text-based games with executable environment verifiers. We evaluate three pathways for incorporating interaction experience: direct History ICL, score-conditioned Summary Memory, and parameter Training. Our experiments reveal that self-improvement is neither automatic nor uniform. Context-level experience improves performance for several model--game pairs, but the most effective pathway depends strongly on the task structure: summaries are beneficial when experience can be compressed into reusable strategic rules, yet often underperform raw history when success depends on precise, state-contingent information. Parameter training produces substantial gains on some tasks, but also exhibits unstable improvement and severe negative transfer on others. These findings show that recognizing successful actions is insufficient; agents must also transform feedback into executable and transferable policies. S$^3$Gym provides a unified framework for diagnosing this process and identifying the bottlenecks that prevent agents from translating interaction experience into reliable self-improvement.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積するが、既存のエージェントベンチマークはそれらを固定ポリシーとして評価する。
したがって、エージェントがその振る舞いを積極的にテストし、その結果の経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明である。
本稿では, LLM の自己改善を評価するインタラクティブなベンチマークである \textbf{S\textsuperscript{3}Gym} を紹介する。
S$3$Gymは、厳密な保留評価から寛容な探索を分離し、実行環境検証を伴う7つのテキストベースのゲームでこのプロトコルをインスタンス化する。
インタラクション体験を取り入れるための経路として,直接履歴ICL,スコア条件の要約記憶,パラメータトレーニングの3つを評価した。
実験の結果,自己改善は自動でも均一でもないことが判明した。
経験を再利用可能な戦略ルールに圧縮できる場合、サマリーは有用であるが、成功が正確で状態のある情報に依存する場合、しばしば生の履歴を過小評価する。
パラメータトレーニングは、いくつかのタスクで大幅に向上するが、不安定な改善と、他のタスクに深刻な負の移動を示す。
エージェントはフィードバックを実行可能で転送可能なポリシーに変換する必要がある。
S$3$Gymは、このプロセスを診断し、エージェントが対話経験を信頼できる自己改善に変換するのを防ぐボトルネックを特定するための統一されたフレームワークを提供する。
関連論文リスト
- From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。
最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。
縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。
IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
論文 参考訳（メタデータ） (2026-08-03T12:52:04Z) - PATH-Bench: Path-Dependent Evaluation of Lifelong Agents [27.837334107109786]
PATH-Benchは、生涯エージェントのパス依存評価のためのベンチマークである。
SEU(Selective Experience Use)は,経路蓄積経験が各タスクにどのように影響するかを制御するエージェントハーネスである。
論文 参考訳（メタデータ） (2026-08-02T11:00:04Z) - Critic Experience Bank: Self-Evolving Step-Level Confidence Estimation for LLM Agents [7.774009529494805]
LLMエージェントは、各アクションが後続の判断条件の状態を変更し、1つの間違ったステップが相互作用予算を無駄にしたり、最終失敗が観測されるずっと前に不可逆的な副作用を引き起こす可能性がある外部環境において作用する。
LLM批判者が過去の判断と観察結果から証拠を蓄積する自己進化的批判フレームワーク(methodshort)を導入する。
論文 参考訳（メタデータ） (2026-07-14T06:17:09Z) - Escaping the Self-Confirmation Trap: An Execute-Distill-Verify Paradigm for Agentic Experience Learning [20.96920050192708]
体験駆動の自己進化は、大規模言語モデル(LLM)エージェントがオープンワールドインタラクションを通じて改善する上で重要である。
既存の経験学習手法は主に単一エージェントループに依存しており、同じエージェントがタスクを実行し、結果を要約し、メモリの内容を決定する。
本研究では,信頼度の高い体験学習のためのエクササイズ・ディスティル・検証フレームワークであるEDVを提案する。
論文 参考訳（メタデータ） (2026-06-23T11:05:05Z) - Agentic CLEAR: Automating Multi-Level Evaluation of LLM Agents [12.703661629160571]
本稿では,自動的,動的,かつ使いやすい評価フレームワークであるAgentic CLEARを提案する。
エージェントの動作に関するテキストによる洞察を3つのレベル(システム、トレース、ノード)で生成する。
Agentic CLEARは可観測層の上で動作し、シームレスな統合と直感的なUIを特徴とする。
論文 参考訳（メタデータ） (2026-05-21T15:26:02Z) - TriEx: A Game-based Tri-View Framework for Explaining Internal Reasoning in Multi-Agent LLMs [16.622300148265275]
TriExは、整列されたアーティファクトでシーケンシャルな意思決定を行う、トリビュー説明可能性フレームワークである。
本稿では,TriExにより,説明の忠実さ,信念のダイナミクス,評価者の信頼性をスケーラブルに分析できることを示す。
論文 参考訳（メタデータ） (2026-04-21T22:55:57Z) - AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation [71.49152943451328]
我々は,AJ-Benchベンチマークを導入し,ドメイン検索,データシステム,グラフィカルユーザインタフェースの3つの領域にまたがるエージェント・アズ・ア・Judgeを評価する。
実験ではLLM-as-a-Judgeベースラインよりも一貫したパフォーマンス向上を示し、エージェントベースの検証においてかなりオープンな課題を明らかにした。
論文 参考訳（メタデータ） (2026-04-20T13:23:38Z) - Experiential Reflective Learning for Self-Improving LLM Agents [1.1074589887824053]
実験的反射学習(ERL:Experiential Reflective Learning)は,迅速な環境適応を実現するシンプルな自己改善フレームワークである。
ERLはタスクの軌跡と成果を反映して、タスク間で伝達される実行可能なレッスンを生成する。
ERLはReActベースラインよりも成功率を7.8%向上させ、タスク完了の信頼性を大きく向上させる。
論文 参考訳（メタデータ） (2026-03-25T11:43:22Z) - Large Language Model Agents Are Not Always Faithful Self-Evolvers [84.08646612111092]
自己進化型大規模言語モデル(LLM)エージェントは、過去の経験を蓄積し再利用することによって継続的に改善される。
本稿では,経験の忠実さ,エージェントの判断が与えられた経験に因果的依存を初めて体系的に調査する。
論文 参考訳（メタデータ） (2026-01-30T01:05:15Z) - Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。
LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
論文 参考訳（メタデータ） (2025-05-23T08:23:36Z) - 360$^\circ$REA: Towards A Reusable Experience Accumulation with 360° Assessment for Multi-Agent System [71.96888731208838]
評価フィードバックからの経験を総合的に評価し蓄積することは、システム性能を改善するための効果的なアプローチである、と我々は主張する。
企業組織の実践にインスパイアされた階層的なマルチエージェントフレームワークである360$circ$REA(360$circ$REA)による再利用可能なエクスペリエンス蓄積を提案する。
論文 参考訳（メタデータ） (2024-04-08T14:43:13Z) - Learning to Use Tools via Cooperative and Interactive Agents [58.77710337157665]
ツール学習は、外部ツールを使用してユーティリティを拡張するエージェントとして、大きな言語モデル(LLM)を促進する。
ツール選択,ツール実行,アクションキャリブレーションの3つの特別なエージェントを個別にコーディネートする,協調型対話型エージェントフレームワークであるConAgentsを提案する。
3つのデータセットに対する実験により、LLMは、ConAgentsを装備した場合、大幅に改善されたベースラインよりも優れた性能を示した。
論文 参考訳（メタデータ） (2024-03-05T15:08:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。