論文の概要: Continual Learning Exam: Benchmarking Long-Horizon RSI and Experiential Learning in LLM Agents
- arxiv url: http://arxiv.org/abs/2610.33956v1
- Date: Sun, 25 Oct 2026 00:00:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.491167
- Title: Continual Learning Exam: Benchmarking Long-Horizon RSI and Experiential Learning in LLM Agents
- Title(参考訳): LLMエージェントにおける長期RSIと経験的学習のベンチマーク
- Abstract要約: 継続的な学習は、LLMエージェントが、有用な事前知識を維持しながら経験から知識を取得し、精製し、適用することで、時間とともに改善する能力である。
本稿では,ドメインエキスパートによる大規模ベンチマークであるContinual Learning Exam(CLE)を紹介する。
CLEは120の人間によるタスクで構成されており、それぞれが5段階のはしごとして編成され、12の職業領域で89の専門職にまたがる600のレベルを達成している。
- 参考スコア(独自算出の注目度): 69.10720985628254
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual learning is the ability of LLM agents to improve over time by acquiring, refining, and applying knowledge from experience while retaining useful prior knowledge. It is essential for agents learning over long time horizons, yet current evaluations largely assess individual task performance rather than improvement through accumulated experience. We introduce Continual Learning Exam (CLE), a large-scale benchmark developed by 50+ domain experts to measure experience-driven improvement in realistic professional workflows. CLE comprises 120 human-authored tasks, each organised as a five-level ladder, yielding 600 levels spanning 89 professional roles across 12 occupational domains. Agents must pass each level to unlock the next, with later levels building on experience accumulated during earlier assignments. An evaluation agent assesses each submission against human-authored rubrics. We compare a single-submission setting with one that provides diagnostic feedback after failure and allows one revision. Across 17 harness-model configurations using frontier LLMs, feedback and revision yield a median completion gain of 5.3 percentage points. Yet the best-performing system clears only 47.7% of levels and completes all five levels in just 23.3% of tasks, highlighting the difficulty of sustained learning from experience for existing frontier LLMs. As such, the dataset can also be used to post-train LLMs to strengthen their continual learning capabilities.
- Abstract(参考訳): 継続的な学習は、LLMエージェントが、有用な事前知識を維持しながら経験から知識を取得し、精製し、適用することで、時間とともに改善する能力である。
長時間の地平線を学習するエージェントには欠かせないが、現在の評価は、蓄積された経験を通して改善されるよりも、個々のタスクのパフォーマンスを評価することの方が重要である。
このベンチマークは50以上のドメインの専門家によって開発され、現実的なプロフェッショナルワークフローにおける経験駆動的な改善を計測する。
CLEは120の人間によるタスクで構成されており、それぞれが5段階のはしごとして編成され、12の職業領域で89の専門職にまたがる600のレベルを達成している。
エージェントは各レベルを通過して次のレベルをアンロックしなければならない。
評価エージェントは、人間が認可したルーリックに対して各提出品を評価する。
単一サブミッション設定を、障害後の診断フィードバックを提供し、1つのリビジョンを可能にする設定と比較する。
フロンティアLSM、フィードバック、リビジョンを使用した17のハーネスモデル構成は、中央値の5.3ポイントを達成している。
しかし、最高のパフォーマンスのシステムは47.7%のレベルをクリアし、23.3%のタスクで5つのレベル全てをクリアし、既存のフロンティアLSMの経験から持続的な学習の難しさを浮き彫りにした。
そのため、データセットはLLMをトレーニング後、継続学習能力を強化するために使用することもできる。
関連論文リスト
- Beyond Outcome Feedback: Trajectory-Quality-Guided Experience-based Learning [29.574511822743343]
本稿では,プロセスフィードバックを取り入れた学習フレームワークTQG-Expを提案する。
具体的には,タスク完了とプロセス品質を共同で検討し,学習信号を提供するトラジェクティブ品質損失(TQL)を紹介する。
TQG-Expは既存のエクスペリエンスベースの手法よりも優れており、Avg.@3が最強のベースラインである4.50と8.55ポイントで改善されていることを示す。
論文 参考訳(メタデータ) (2026-10-10T12:50:09Z) - Xpertbench: Expert Level Tasks with Rubrics-Based Evaluation [32.5154721488471]
LLM(Large Language Models)は、従来のベンチマークで高い性能を示す。
既存のフレームワークは、狭いドメインカバレッジ、ジェネラリストのタスクへの依存、あるいは自己評価バイアスに悩まされている。
XpertBench(英語版)は、真の専門分野にわたるLSMを評価するために開発された高忠実度ベンチマークである。
論文 参考訳(メタデータ) (2026-03-27T11:28:15Z) - How Far Can LLMs Improve from Experience? Measuring Test-Time Learning Ability in LLMs with Human Comparison [18.55932151761813]
我々は、テスト時間における経験に基づく、推論集約的なタスクのパフォーマンス向上能力であるテストタイム学習の評価を提唱する。
モデル性能を限定的および累積的な経験条件下で比較し、4種類の経験表現を含む客観的評価フレームワークを提案する。
以上の結果から,LSMは測定可能なテスト時間学習能力を示すが,累積的な経験下では改善は安定せず,人間よりも進行が遅いことが示唆された。
論文 参考訳(メタデータ) (2025-06-17T12:13:56Z) - DSMentor: Enhancing Data Science Agents with Curriculum Learning and Online Knowledge Accumulation [59.79833777420334]
大規模言語モデル(LLM)エージェントは、複雑なデータサイエンス問題を解決するためのコードを生成する上で、有望な性能を示している。
我々は, LLMエージェントの性能を向上させるために, DSMentorと呼ばれる新しい推論時間最適化フレームワークを開発した。
我々の研究は、推論中に知識を蓄積し活用するための効果的な戦略を開発することの重要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2025-05-20T10:16:21Z) - LifelongAgentBench: Evaluating LLM Agents as Lifelong Learners [51.518410910148816]
しかし、現在の大規模言語モデル(LLM)ベースのエージェントは、状態のままであり、時間とともに知識を蓄積または転送することができない。
LLMエージェントの生涯学習能力を体系的に評価するために設計された最初の統合ベンチマークであるLifelongAgentBenchを紹介する。
論文 参考訳(メタデータ) (2025-05-17T10:09:11Z) - Understanding the Role of LLMs in Multimodal Evaluation Benchmarks [77.59035801244278]
本稿では,MLLM評価におけるLarge Language Model (LLM)バックボーンの役割について検討する。
本研究は4つのMLLMベンチマークと8つの最先端MLLMベンチマークを含む。
鍵となる発見は、いくつかのベンチマークでは視覚的な入力がなくても高いパフォーマンスを実現しており、最大50%のエラーレートは、LLMバックボーンにおける不十分な世界的知識に起因していることを示している。
論文 参考訳(メタデータ) (2024-10-16T07:49:13Z) - Self-Evolving GPT: A Lifelong Autonomous Experiential Learner [40.16716983217304]
大規模言語モデル(LLM)に基づく生涯の自律的経験学習フレームワークを設計する。
自律的に学習し、経験の伝達と帰納を通じて経験を蓄積し、どのような種類の入力質問を分類し、どの蓄積された経験を雇用するかを選択する。
6つのNLPデータセットによる実験結果から,本フレームワークは各中間段階において確実に動作し,GPT-3.5およびGPT-4の性能を効果的に向上することが示された。
論文 参考訳(メタデータ) (2024-07-12T02:49:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。