論文の概要: CAMR: Compatibility-Aware Memory Replay for Continual Learning in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.36734v1
• Date: Tue, 27 Oct 2026 06:52:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.240716
• Title: CAMR: Compatibility-Aware Memory Replay for Continual Learning in Large Language Models
• Title（参考訳）: CAMR:大規模言語モデルにおける連続学習のための互換性を考慮したメモリリプレイ
• Abstract要約: 継続的な学習は、彼らが学んだことを保ちながら、新しい知識と能力を得るために大きな言語モデルを必要とする。 本稿では,現在の監視と履歴再生を協調的に制御する適応型フレームワークCAMRを提案する。
• 参考スコア（独自算出の注目度）: 13.58968018245758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning requires large language models to acquire new knowledge and capabilities while retaining what they have learned. Fine-tuning and replay support acquisition and retention, but deciding whether incoming examples need supervision and which historical examples to revisit remains a challenge. We propose Compatibility-Aware Memory Replay (CAMR), an adaptive framework that jointly controls current-example supervision and historical replay. CAMR combines compatibility checks with a learned memory gate to guide an online policy over three actions: learning incoming examples with general replay, jointly reinforcing compatible related examples, and skipping direct supervision of verified mastered duplicates. The policy learns from acquisition, retention, and training-cost feedback under a bounded per-arrival replay budget. We evaluate CAMR with Qwen3-8B-Base on continual factual updating and cross-task and cross-domain learning. On WikiBigEdit, CAMR consistently leads evaluated methods in Original Match from 3K to 100K facts, reaching 93.66% after just 3K facts and surpassing Full-history Replay (LoRA) after 100K facts. It also achieves the highest final scores on all four selected TRACE tasks and maintains or improves earlier-task performance relative to post-acquisition levels in a sequence spanning financial question answering, mathematical reasoning, code generation, and summarization.
• Abstract（参考訳）: 継続的な学習は、彼らが学んだことを保ちながら、新しい知識と能力を得るために大きな言語モデルを必要とする。 微調整とリプレイは、取得と保持をサポートするが、入ってくるサンプルに監督が必要か、どの歴史的な例を再検討する必要があるかは、依然として課題である。 本稿では,現在の監視と履歴再生を協調的に制御する適応型フレームワークCAMRを提案する。 CAMRは、互換性チェックと学習したメモリゲートを組み合わせて、3つのアクションについてオンラインポリシーをガイドする。 このポリシーは、地域ごとのリプレイ予算の下で、取得、保持、トレーニングコストのフィードバックから学習する。 Qwen3-8B-Baseを用いたCAMRを連続的事実更新とクロスタスク,クロスドメイン学習で評価した。 WikiBigEditでは、CAMRはオリジナルマッチの評価手法を3Kから100Kまで一貫してリードし、わずか3Kの事実から93.66%に達し、100Kの事実からフルヒストリー・リプレイ(LoRA)を上回っている。 また、選択された4つのTRACEタスクの最高スコアを達成し、財務問題応答、数学的推論、コード生成、要約にまたがるシーケンスにおいて、獲得後のレベルと比較して、早期タスクのパフォーマンスを維持または改善する。

関連論文リスト

• When to Review: Spaced Repetition for Continual Pre-Training of Language Models [1.0262304700896199]
  既存のリプレイ手法は、しばしばグローバルな古い/新しい混合物とサンプルを均一に選択する。 トレーニングループは、リプレイする履歴だけでなく、各ステップでどの例を返すかを決定する必要があります。 認知科学に触発された連続学習フレームワークである空間反復訓練(Spaced Repetition Training, SRT)を導入し, SuperMemo-2 (SM-2) アルゴリズムを用いてサンプルリハーサルをスケジュールする。
  論文  参考訳（メタデータ） (2026-08-18T08:51:47Z)
• Verifiable Memory: Learning Unified Memory Management with Local and Global Verifiers for Large Language Model Agents [12.763061404384601]
  大規模言語モデル(LLM)エージェントは、再利用可能な情報を保持し、有界な活動コンテキストを制御し、長い水平相互作用の間、以前の証拠を回復しなければならない。 本稿では,LTM,アクティブコンテキスト,エピソード履歴を異なる状態として表現し,一つのメモリ操作ポリシで制御するフレームワークであるVerMemを提案する。
  論文  参考訳（メタデータ） (2026-08-04T05:06:24Z)
• GROVE: Growing and Reasoning over Temporally Stratified Memory from Streaming Video Experience [67.55136435794206]
  ウェアラブルアシスタントは、その視覚的履歴に関する質問に答え、その歴史が現在の状況に有効であるかどうかを認識する。 GROVEは、連続的なビデオストリームから慎重に成長した1つのメモリで両方の動作をサポートする、トレーニング不要のフレームワークである。 GROVEは、きめ細かい知覚的証拠を保持し、それをタイムスタンプ化された瞬間、一貫性のあるエピソード、そして日々のパターンに漸進的に統合する。
  論文  参考訳（メタデータ） (2026-08-03T15:35:28Z)
• TSN-Affinity: Similarity-Driven Parameter Reuse for Continual Offline Reinforcement Learning [5.680044533158534]
  連続オフライン強化学習(CORL)は、以前に学習したタスクのパフォーマンスを維持しながら、時間とともに収集されたデータセットから一連のタスクを学習することを目的としている。 本稿では,TinySubNetworks と Decision Transformer に基づく新しい CORL 手法である TSN-Affinity を提案する。 我々は,Atariゲームに基づくベンチマークのアプローチと,Franka Emika Pandaロボットアームによる操作タスクのシミュレーションを評価する。
  論文  参考訳（メタデータ） (2026-04-28T17:41:04Z)
• Learning to Remember: End-to-End Training of Memory Agents for Long-Context Reasoning [18.621823772319154]
  本稿では,メモリ操作と質問応答を一つのポリシーで統一するエンドツーエンド強化学習フレームワークを提案する。 UMAは、グローバルコンテキストのためのコンパクトなコアサマリと、明示的なCRUDをサポートする構造化メモリバンクという、二重メモリ表現を維持している。 Ledger-QA、Test-Time Learning、そしてCurcurate Retrievalにまたがる13のデータセットのうち、UMAは動的推論と学習タスクの長いコンテキストとRAGベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2026-02-13T16:54:23Z)
• AMA: Adaptive Memory via Multi-Agent Collaboration [54.490349689939166]
  複数の粒度にまたがるメモリ管理に協調エージェントを活用する新しいフレームワークであるAMA(Adaptive Memory via Multi-Agent Collaboration)を提案する。 AMAは、ステート・オブ・ザ・アートのベースラインを著しく上回り、トークンの消費をフルコンテキストの手法と比べて約80%削減する。
  論文  参考訳（メタデータ） (2026-01-28T08:09:49Z)
• Continual Referring Expression Comprehension via Dual Modular Memorization [133.46886428655426]
  Referring Expression (REC) は、自然言語で記述された対象のイメージ領域をローカライズすることを目的としている。 既存のRECアルゴリズムは、モデルへのデータ供給のトレーニングを前もって行うと強く仮定する。 本稿では、入ってくるタスクのストリーム上でモデルが学習するRECの新しい設定である連続参照表現(CREC)を提案する。 学習済みの知識を忘れずに,スクラッチから繰り返し再学習することなく,逐次的タスクのモデルを継続的に改善するために,デュアルモジュール記憶法という効果的なベースライン手法を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:58:51Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Memory Population in Continual Learning via Outlier Elimination [25.511380924335207]
  破滅的な忘れは、新しいタスクを学ぶ際に学習したタスクを忘れる現象であり、継続的な学習アルゴリズムを開発する上で大きなハードルとなる。 忘れを緩和する一般的な方法は、新しいタスクのトレーニングで使用する前に学習したタスク例のサブセットを格納するメモリバッファを使用することである。 本稿では,ラベル同種サブポピュレーションからサンプルを選択することにより,メモリバッファ内の外れ値の識別と除去を行うメモリ・アウトレイラ除去法(MOE)を提案する。
  論文  参考訳（メタデータ） (2022-07-04T00:09:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。