論文の概要: AhaBench: Do Agents Turn Experience into Reusable Insights? A Long-Horizon Benchmark for Continual Learning
- arxiv url: http://arxiv.org/abs/2609.05435v2
- Date: Mon, 21 Sep 2026 01:42:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.471688
- Title: AhaBench: Do Agents Turn Experience into Reusable Insights? A Long-Horizon Benchmark for Continual Learning
- Title（参考訳）: AhaBench: エージェントは体験を再利用可能な視点に変えるか? 継続的な学習のための長期ベンチマーク
- Abstract要約: AhaBenchは、経験から継続的に学ぶ言語エージェントの能力を評価する。
ベンチマークはエージェントの学習方法に非依存であり、評価されたエージェントは固定モデルウェイトを使用する。
オイラーでは、作業手順はモデル全体で 80.0-100.0% の精度を保留し、質問+回答の教育は 0.0-73.9% の精度を得る。
- 参考スコア（独自算出の注目度）: 6.511310130508893
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Can language agents continually learn from experience, turning earlier interactions into reusable capabilities? AhaBench evaluates this ability through exploration after solved hidden-state puzzles, computational transfer after mathematical teaching, and sustained business operation under delayed feedback. The benchmark is agnostic to how an agent learns; the evaluated agents use fixed model weights. Curriculum profiles, teaching contrasts, and daily trajectories reveal a common challenge: using explicit guidance is more reliable than generalizing beyond it or sustaining useful behavior. Across the Puzzle panel, the advantage over matched cold targets is 36.0-53.5 points greater with trace support than at the trace-free endpoint; Qwen 3.6 Plus nevertheless retains a +12.57-point post-curriculum gain. In Euler, worked procedures yield 80.0-100.0% held-out accuracy across models, while question-plus-answer teaching yields 0.0-73.9%. Vending trajectories separate sustained profit, late recovery, and incomplete operation: Doubao Seed 2.0 Pro finishes nominal operation at +495 but averages -10 over the year. Together, these results make continual learning an operational target: experience should yield capabilities that remain effective as guidance, inputs, and business states change. We release tasks, validators, a simulator, records, and analyses for developing agents that turn useful insights into lasting abilities.
- Abstract（参考訳）: 言語エージェントは、経験から継続的に学び、以前のインタラクションを再利用可能な機能に変えることができるか?
AhaBenchは、隠れ状態のパズルを解いた後の探索、数学的教えの後の計算転送、遅延したフィードバックの下でのビジネスオペレーションを通じて、この能力を評価する。
ベンチマークはエージェントの学習方法に非依存であり、評価されたエージェントは固定モデルウェイトを使用する。
カリキュラムプロファイル、教示コントラスト、日々の軌跡は共通の課題である:明示的なガイダンスの使用は、それ以上の一般化や有用な行動の持続よりも信頼性が高い。
Puzzleパネル全体では、マッチしたコールドターゲットに対する優位性は、トレースフリーエンドポイントよりも36.0-53.5ポイント大きく、Qwen 3.6 Plusは+12.57ポイントのポストキュリキュラムゲインを保持する。
オイラーでは、作業手順はモデル全体で 80.0-100.0% の精度を保留し、質問+回答の教育は 0.0-73.9% の精度を得る。
ドーバオ・シード2.0 Proは名目上の運行を+495で終了するが、年間平均は10回である。
経験は、ガイダンス、インプット、ビジネス状態の変化として効果的に保たれる能力をもたらすべきです。
我々は、有用な洞察を持続能力に変えるエージェントを開発するためのタスク、バリデータ、シミュレータ、レコード、分析をリリースします。
関連論文リスト
- S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? [66.17176838165994]
大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。
エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。
LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
論文 参考訳（メタデータ） (2026-08-31T17:05:41Z) - Behavior-Skill: A Fine-Grained Benchmark for Evaluating Vision-Language-Action Policies in Long-Horizon Tasks [39.959375504916494]
本稿では,長期タスクの学習と評価を改定するベンチマークであるBehavior-Skillを提案する。
50世帯のタスクにまたがる1万件のデモから、34のセマンティックスキルカテゴリから235,492のスキルインスタンスが含まれている。
本研究では,長期VLAポリシーの分析と改善のための中間機能プロファイルを公開することで,行動スキルがフルタスク評価を補完することを示す。
論文 参考訳（メタデータ） (2026-08-31T10:03:48Z) - LongWoF-Bench: Evaluating EvoMap Genes for Verifiable Long-Workflow Tasks [18.44583561825209]
我々は,EvoMapを通じて実行エクスペリエンスを外部化して再利用できるかどうかを検討した。
EvoMapは検証済みの実行トラジェクトリを構造化されたGeneに統合する。
Claude Opus氏にとって、Geneの再利用はSkillよりも39のタスクを完了し、解決時のトークン消費を9.9%削減する。
論文 参考訳（メタデータ） (2026-08-24T12:50:16Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - PAST-Bench: Benchmarking the Foundations of Recursive Self-Improvement in Personal Agents [50.9061759859778]
PAST-Benchは、保持されたエクスペリエンスがエージェントを時間とともに実際に改善するかどうかを識別するために設計されたベンチマークである。
遅延タスクのゲインと、そのゲインが意図したセーブ、リトリーブ、更新パスに従うかどうかを報告します。
我々はHermes+を開発し、エージェントループの段階にわたって5つのターゲット的介入でHermesを拡張した。
論文 参考訳（メタデータ） (2026-08-04T17:58:05Z) - PATH-Bench: Path-Dependent Evaluation of Lifelong Agents [27.837334107109786]
PATH-Benchは、生涯エージェントのパス依存評価のためのベンチマークである。
SEU(Selective Experience Use)は,経路蓄積経験が各タスクにどのように影響するかを制御するエージェントハーネスである。
論文 参考訳（メタデータ） (2026-08-02T11:00:04Z) - Anticipate and Learn: Unleashing Idle-Time Compute in Proactive Agents [51.46570338144688]
ProActは、アイドルタイム計算を利用して、今後のユーザニーズを予測し、満たすプロアクティブエージェントアーキテクチャである。
進化する対話履歴を永続記憶とともに解析することにより、ProActは今後のニーズを予測し、情報を反復的に取得する。
MemBenchの評価では、ProActが最先端の反射精度を達成し、持続的で堅牢な性能を裏付けている。
論文 参考訳（メタデータ） (2026-05-25T15:47:21Z) - AgentEscapeBench: Evaluating Out-of-Domain Tool-Grounded Reasoning in LLM Agents [35.967227261886435]
AgentEscapeBenchは、エージェントが明示的な長距離依存性制約の下で新しいツールの使用手順を推論、実行、修正できるかどうかをテストする。
16個のLDMエージェントとヒトの被験者による実験では、依存性の深さが増加するにつれて性能が急激に低下することが示された。
軌道解析は、主に長距離状態追跡、手がかり付着、中間相対伝播における故障をモデル化する。
論文 参考訳（メタデータ） (2026-05-08T15:59:27Z) - A Rubric-Supervised Critic from Sparse Real-World Outcomes [87.11204512676193]
現実のコーディングエージェントは、成功信号がノイズが多く、遅延し、スパースであるループで人間と動作します。
本稿では,RLに基づくトレーニングや推論時間スケーリングの報奨モデルとして,スパースとノイズの相互作用データから"批判的"モデルを学習するプロセスを提案する。
論文 参考訳（メタデータ） (2026-03-04T07:23:54Z) - Simultaneously Updating All Persistence Values in Reinforcement Learning [40.10326490326968]
強化学習では、学習エージェントの性能は時間的離散化の選択に敏感である。
本研究は,低パーシステンス体験と高パーシステンス体験の両方を効果的に活用できる小説『All-Persistence Bellman Operator』を創出する。
論文 参考訳（メタデータ） (2022-11-21T16:22:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。