論文の概要: Continual-ARC: Measuring Skill Acquisition over a Working Lifetime
- arxiv url: http://arxiv.org/abs/2611.14505v2
- Date: Wed, 11 Nov 2026 05:12:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.917282
- Title: Continual-ARC: Measuring Skill Acquisition over a Working Lifetime
- Title(参考訳): Continual-ARC: 作業時間におけるスキル獲得の計測
- Abstract要約: Continual-ARCは3つのARC-AGIエディションから作られた生涯ストリームである。
新たなタスクが到着し続けながら、新しいインスタンスとの休眠ギャップの後、同じタスクが返ってくる。
重みベースのシステムとメモリベースのシステムは、同じスケールでスコアされる。
- 参考スコア(独自算出の注目度): 0.15293427903448018
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agent harnesses have emerged as a promising mechanism for continual learning, alongside test-time parametric learning. However, the current benchmarks have several limitations: they generally focus on a single applied domain, serve each instance only once, and assume a single family of learner, so memory-based and weight-based systems are rarely compared on the same scale. We propose Continual-ARC, a lifelong stream built from the three ARC-AGI editions, whose tasks need no domain knowledge. The same tasks return after dormant gaps with fresh instances, while new tasks keep arriving. On each instance, the learner may pay for demonstrations, submit answers, or act inside the harness, with retries permitted on incorrect submissions, which are paid for. Each instance is scored based on the share of this feedback budget consumed. Since a learner may keep anything between instances, memory-based and weight-based systems are scored on the same scale. After the stream, the learner is frozen and tested on fresh instances of the tasks it met, which measures memorization, and on unseen tasks, which measures generalization. We run an agent harness with frozen weights, with and without persistence, on Qwen3.5-9B and GLM-5.3 Flash, comparing them with two prompting floors, a program-induction method and Qwen3.5-9B's weights trained to imitate GLM-5.3 Flash. Persistence in the harness generally does not improve memorization unless provided with explicit expert guidance. Most harness-based methods still learn less than a floor that simply caches each task's demonstrations, across all models we tested. No harness-based method gains on unseen tasks, whereas weight-based learning shows substantial gains. This opens the door to future weight-based continual learning that could teach models to drive harnesses in new domains.
- Abstract(参考訳): エージェントハーネスは、テスト時間パラメトリック学習とともに、継続的な学習のための有望なメカニズムとして登場した。
しかし、現在のベンチマークにはいくつかの制限がある: 一般に単一の適用ドメインにフォーカスし、各インスタンスに1回だけサービスを提供し、学習者の1つのファミリーを仮定するので、メモリベースのシステムと重みベースのシステムは、同じスケールで比較されることは滅多にない。
本研究では,3つのARC-AGIエディションから構築された生涯ストリームであるContinual-ARCを提案する。
新たなタスクが到着し続けながら、新しいインスタンスとの休眠ギャップの後、同じタスクが返ってくる。
それぞれのケースで、学習者はデモの費用を支払ったり、回答を提出したり、ハーネス内で行動したりすることができる。
各インスタンスは、消費されるフィードバック予算のシェアに基づいてスコアされる。
学習者はインスタンス間で何かを保持することができるため、メモリベースと重みベースのシステムは同一のスケールでスコアされる。
ストリームの後、学習者はフリーズされ、そのタスクの新たなインスタンスでテストされる。
凍結重量を持つエージェントハーネスをQwen3.5-9BとGLM-5.3 Flashで実行し、プログラムインダクション法とQwen3.5-9Bの重量がGLM-5.3 Flashを模倣するように訓練された2つのプロンプトフロアと比較した。
ハーネスの持続性は、明示的な専門家のガイダンスがなければ、一般的に記憶を改善することはない。
ほとんどのハーネスベースのメソッドは、テストしたすべてのモデルにまたがって、各タスクのデモをキャッシュするフロア以下で学習します。
ハーネスに基づく手法は、目に見えないタスクでは向上しないが、重みに基づく学習ではかなりの増加を示す。
これにより、将来の重量に基づく継続的な学習への扉が開かれ、新しいドメインでハーネスを駆動するモデルを教えることができる。
関連論文リスト
- SAMBAR: Selective Anchoring via Method of Multipliers for Balanced Knowledge Acquisition and Retention in Vision-Language-Action Models [10.638650259377254]
VLA(Vision-Language-Action)モデルでは、大規模な事前訓練を活用して最終的に汎用的な操作を実現する。
デプロイされたVLAポリシは、時間とともに新しいタスクを取得するための継続的学習をサポートする必要があります。
本稿では, 連続学習アルゴリズムSAMBARを導入し, VLAファインタニング時の破滅的忘れを防止する。
論文 参考訳(メタデータ) (2026-09-26T00:29:42Z) - When Does Continual Learning Require Learning [68.55508958298942]
継続的学習は単一の能力ではないことを示す。
環境変化の異なるパターンは、根本的に異なる更新動作を必要とする。
それぞれの手法が成功するか、失敗するかを理解することが、より強力な継続的学習システムの設計を導くことを願っている。
論文 参考訳(メタデータ) (2026-07-08T18:27:40Z) - Dynamic Mixture of Latent Memories for Self-Evolving Agents [57.20419419302731]
MoLEMは、動的混合(MoE)に基づく潜在メモリフレームワークの生成混合物である。
我々は、数学、科学、コードドメインにまたがる連続的な学習シーケンスに基づいて、このフレームワークを訓練する。
連続学習を完了した後、Vanilla事前学習ベースラインよりも平均精度を10.40%向上させる。
論文 参考訳(メタデータ) (2026-05-21T03:35:10Z) - Attribution-Guided Continual Learning for Large Language Models [32.34727629126595]
大規模言語モデル(LLM)は、連続学習における破滅的な忘れ込みに悩まされることが多い。
既存の方法は、データ再生、パラメータ凍結、正規化によって破滅的な忘れを緩和する。
LLMのための帰属誘導型連続微調整フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-06T17:38:13Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。
しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Decouple knowledge from parameters for plug-and-play language modeling [77.5601135412186]
差別化可能なプラグインメモリ(DPM)を備えた事前学習モデルPlugLMを導入する。
鍵となる直感は、編集可能でスケーラブルなキーバリューメモリで、知識ストレージをモデルパラメータから切り離すことである。
PlugLMは4つのドメインで平均3.95のF1改善を実現している。
論文 参考訳(メタデータ) (2023-05-19T10:01:55Z) - Continual learning of quantum state classification with gradient
episodic memory [0.20646127669654826]
破滅的忘れという現象は、機械学習モデルが複数のタスクにわたって訓練されたときに発生する。
破滅的な忘れの問題に対処するために、いくつかの継続的な学習戦略が提案されている。
本研究では,変分量子分類器の学習に勾配エピソードメモリ法を取り入れた。
論文 参考訳(メタデータ) (2022-03-26T09:28:26Z) - Relational Experience Replay: Continual Learning by Adaptively Tuning
Task-wise Relationship [54.73817402934303]
本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。
ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
論文 参考訳(メタデータ) (2021-12-31T12:05:22Z) - Continual Learning in Low-rank Orthogonal Subspaces [86.36417214618575]
連続学習(CL)では、学習者は一連のタスクに直面して次々に到着し、学習経験が終わるとすべてのタスクを覚えることが目的である。
CLの以前の技術は、タスク間の干渉を減らすためにエピソードメモリ、パラメータ正規化、ネットワーク構造を使用していたが、最終的には、全てのアプローチが共同ベクトル空間で異なるタスクを学習する。
干渉を最小限に抑えるために互いに直交する異なる(低ランクな)ベクトル部分空間でタスクを学習することを提案する。
論文 参考訳(メタデータ) (2020-10-22T12:07:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。