論文の概要: Continual Learning Mechanisms Compose for Long-Horizon Memorization

• arxiv url: http://arxiv.org/abs/2609.06986v1
• Date: Mon, 07 Sep 2026 03:21:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.34832
• Title: Continual Learning Mechanisms Compose for Long-Horizon Memorization
• Title（参考訳）: 長期記憶のための連続学習機構
• Abstract要約: 相補的なメカニズムを構成することで、個々のメカニズムが達成する以上の長い水平記憶が大幅に向上することを示す。 我々の最良の方法は、3つのアンカーすべてとLoRAを統合し、すべてのデータセットで上位3つのメソッドにランク付けし、平均的な最終的な保持率を1.2%から34.9%に引き上げます。
• 参考スコア（独自算出の注目度）: 42.18797553206123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models may need to internalize information that arrives over time and retain it through many subsequent updates. To study this challenge, we introduce long-horizon memorization, a setting in which a model learns 100 query-answer tasks through continual supervised fine-tuning without retaining earlier training examples or receiving task identifiers at inference. Sequential updates cause catastrophic forgetting, and no single continual learning mechanism we evaluate maintains strong retention at this horizon. We hypothesize that mechanisms addressing complementary sources of forgetting will be more effective when composed. We organize these compositions along two design dimensions. Data, function, and weight anchors specify what prior information each update should preserve, while low-rank allocation rules determine where successive updates are retained. To test this hypothesis systematically, we construct three distinct 100-task memorization datasets. We introduce task-level successive halving to search the combinatorial design space and use a factorial experiment to measure individual and interaction effects. Our best method combines all three anchors with merged LoRA, ranks among the top 3 methods in all datasets, and raises average final retention from 1.2% under naive sequential fine-tuning to 34.9%, a 28-fold improvement. The data anchor and merged LoRA provide the largest average gains and interact super-additively on all three datasets. Together, these results show that composing complementary mechanisms substantially improves long-horizon memorization beyond what any individual mechanism achieves.
• Abstract（参考訳）: 言語モデルは、時間とともに到着する情報を内部化し、その後の多くの更新を通じて保持する必要がある。 この課題を考察するために,モデルが事前のトレーニング例を保持したり,推論時にタスク識別子を受信したりすることなく,連続的な教師付き微調整を通じて100の問合せタスクを学習する,ロングホライズン記憶を導入する。 逐次更新は破滅的な忘れを生じさせ、我々の評価した連続学習メカニズムは、この地平線における強い保持を維持する。 我々は,補完的な記憶源に対処する機構が,作曲時により効果的になるという仮説を立てた。 これらの構成を2つの設計次元に沿って整理する。 データ、関数、および重み付けアンカーは、各更新が保持すべき事前情報を指定し、低ランクのアロケーションルールは、連続した更新が保持される場所を決定する。 この仮説を体系的に検証するために,3つの異なる100タスク記憶データセットを構築した。 本研究では,組合せ設計空間を探索するタスクレベルの逐次半減法を導入し,因子的実験を用いて個人および相互作用の効果を計測する。 我々の最良の方法は、3つのアンカーすべてとLoRAを統合し、すべてのデータセットで上位3つのメソッドにランク付けし、平均的な最終的な保持率を1.2%から平均的な微調整で34.9%に引き上げ、28倍改善しました。 データアンカーとマージされたLoRAは,3つのデータセットすべてに対して,最大の平均ゲインを提供し,過剰に対話する。 これらの結果から, 相補的な機構を構成することで, 個々の機構が達成できる範囲を超えて, 長期記憶が著しく向上することが示唆された。

関連論文リスト

• daVinci-Agency: Unlocking Long-Horizon Agency Data-Efficiently [35.39097522391409]
  大規模言語モデル(LLM)は短期的なタスクで優れており、それらを長期のエージェント合成に拡張することは依然として困難である。 本稿では,PRチェーンから構造化監視を体系的にマイニングするdaVinci-Agencyを提案する。 DaVinci-AgencyのPR基底構造は、本質的には、永続的なゴールサイクルの振る舞いを教えるのに不可欠な因果依存性と反復的な洗練を保っている。
  論文  参考訳（メタデータ） (2026-02-02T13:23:39Z)
• Detect Anything via Next Point Prediction [51.55967987350882]
  Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。 COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
  論文  参考訳（メタデータ） (2025-10-14T17:59:54Z)
• Enhancing knowledge retention for continual learning with domain-specific adapters and features gating [4.637185817866919]
  継続的な学習は、以前に取得した知識を保持しながら、連続したデータのストリームから学習するモデルに力を与える。 本稿では,視覚変換器の自己保持機構にアダプタを組み込むことにより,異なるドメインからのデータセットを逐次追加する場合の知識保持を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2025-04-11T15:20:08Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Neural Collapse Terminus: A Unified Solution for Class Incremental Learning and Its Variants [166.916517335816]
  本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。 ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。 本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
  論文  参考訳（メタデータ） (2023-08-03T13:09:59Z)
• Self-Supervised Representation Learning from Temporal Ordering of Automated Driving Sequences [49.91741677556553]
  本研究では、認識タスクのための地域レベルの特徴表現を事前学習するための時間順述前文タスクであるTempOを提案する。 我々は各フレームを、オブジェクト検出やトラッキングシステムにとって自然な表現である、未順序な特徴ベクトルのセットで埋め込む。 BDD100K、nu Images、MOT17データセットの大規模な評価は、私たちのTempO事前学習アプローチがシングルフレームの自己教師型学習方法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-02-17T18:18:27Z)
• CoSCL: Cooperation of Small Continual Learners is Stronger than a Big One [40.32426713582231]
  連続学習における可塑性学習の一般化誤差と記憶安定性を解析する。 複数の並列部分で逐次体験を処理できる頑健な生物学的学習システムに着想を得て,小連続学習者の連携を提案する。 CoSCLは、様々な連続学習アプローチを大きなマージンで改善することができる。
  論文  参考訳（メタデータ） (2022-07-13T23:00:27Z)
• Adversarial Continual Learning [99.56738010842301]
  本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。 本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-21T02:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。