論文の概要: Representation Drift in Continual Learning: LoRA versus N-gram Memory

• arxiv url: http://arxiv.org/abs/2610.14921v1
• Date: Sat, 10 Oct 2026 13:43:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 11:05:09.917487
• Title: Representation Drift in Continual Learning: LoRA versus N-gram Memory
• Title（参考訳）: 連続学習における表現ドリフト:LoRA対N-gramメモリ
• Abstract要約: オンライン学習を継続する言語モデルは、その基本能力を徐々に損なうべきではない。 我々は、モデルの内部表現をどのように変更するかを測定することで、現代のLCMのどの部分が継続的な更新を吸収すべきかを問う。 各レイヤにおける固定コンテキスト表現とタスク境界をキャプチャします。
• 参考スコア（独自算出の注目度）: 3.0202480164648677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A language model that keeps learning online must not slowly erode its own base capabilities. We ask which part of a modern LLM should absorb continual updates, by measuring how each choice changes the model's internal representations. On a 48-layer mixture-of-experts model with a native pretrained N-gram memory, we train a seven-task chain under three update mechanisms with identical data and budgets: updating only the N-gram memory table, continually training one shared LoRA adapter, and training a fresh LoRA per task that is merged into the backbone. We capture fixed-context representations at every layer and task boundary. Updating only the N-gram memory changes the base model's representations of general math and code inputs by 26%/15% (relative RMS), against 64%/35% for merged and 97%/39% for shared LoRA. This drift does not grow with the number of tasks: it reaches 25% after the first task and stays there for all seven, while both LoRA variants keep accumulating. Its generic behaviour is essentially unchanged (no code problem lost, math NLL -0.01), and every change is confined to inspectable, reversible table rows. The cost appears elsewhere: N-gram memory acquires new tasks more weakly and its stored tasks interfere with one another, losing as much old-task NLL as shared LoRA. We show that this forgetting is governed by drift on the learned tasks' own inputs, measured from the checkpoint at which each was learned, not by generic drift (Spearman rho=0.85; rho=0.71 on Llama-3-8B), and we derive the exact relations behind it: with a frozen head, every pairwise logit margin changes by the projection of drift onto a head-difference direction. These results support a design principle for long-running online learning: write new knowledge only into the memory table and keep the backbone fixed; the remaining problem, interference between stored tasks, then lies inside the memory.
• Abstract（参考訳）: オンライン学習を継続する言語モデルは、その基本能力を徐々に損なうべきではない。 我々は、モデルの内部表現をどのように変更するかを測定することで、現代のLCMのどの部分が継続的な更新を吸収すべきかを問う。 我々は,N-gramメモリテーブルのみを更新し,共有LoRAアダプタを継続的にトレーニングし,タスク毎に新しいLoRAをトレーニングし,バックボーンにマージする。 各レイヤにおける固定コンテキスト表現とタスク境界をキャプチャします。 N-gramメモリだけを更新すると、ベースモデルの一般的な数学とコード入力の表現が26%/15%(相対RMS)、マージが64%/35%、共有LoRAが97%/39%になる。 このドリフトはタスク数とともに成長せず、最初のタスクの後に25%に達し、7つすべてのタスクに留まる。 そのジェネリックな振る舞いは基本的に変化がなく(コードの問題は失われず、数学のNLL-0.01)、すべての変更は検査可能で可逆なテーブル行に制限される。 N-gramメモリは、新しいタスクをより弱く取得し、その格納されたタスクが互いに干渉し、共有されたLoRAと同じくらい古いタスクのNLLを失う。 本研究では, 学習タスクの入力のドリフトが, 一般的なドリフト(スピアマン rho=0.85; rho=0.71, Llama-3-8B)ではなく, それぞれが学習したチェックポイントから, 学習タスクの入力のドリフトによって制御されることを示し, その背景にある正確な関係を導出した。 これらの結果は、長期にわたるオンライン学習のための設計原則を支持している。メモリテーブルにのみ新しい知識を書き、バックボーンを固定し続ける。

関連論文リスト

• Unmerge: Efficient Machine Unlearning via Task Arithmetic [12.213164906982668]
  近似マシンアンラーニングは、完全に再トレーニングすることなく、トレーニングされたモデルから忘れられたセットの影響を取り除くことを目指している。 我々はタスク算術のレンズを通してアンラーニングをリキャストする。 我々は3つの直感的な目標(分割ベクトルを分割し、保持空間へのリークを抑え、補正サイズを限定する)を最適化する。
  論文  参考訳（メタデータ） (2026-09-30T03:41:21Z)
• TransMem: Transforming Hidden States into Memory for Large Language Models [29.656816378992414]
  大規模言語モデル(LLM)エージェントは、長い相互作用履歴を通してますます機能する。 TransMemは、凍結したLCMバックボーンから再利用可能なメモリ表現に変換する。
  論文  参考訳（メタデータ） (2026-07-31T05:11:04Z)
• Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
  大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。 メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。 MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
  論文  参考訳（メタデータ） (2026-07-15T08:32:40Z)
• ReCoLoRA: Spectrum-Aware Recursive Consolidation for Continual LLM Fine-Tuning [0.0]
  ReCoLoRA(Recursive Consolidation of Low-Rank Adapters)は、連続的な微調整のためのスペクトル認識フレームワークである。 ReCoLoRAは、ランキングスワープのLoRA、PiSSA、AdaLoRA、DoRAのベースラインに対して4つのバックボーンのうち3つで最高得点を獲得した。
  論文  参考訳（メタデータ） (2026-07-04T12:58:26Z)
• Orthogonal Subspace Projection for Continual Machine Unlearning via SVD-Based LoRA [8.191149161025198]
  継続的機械学習は、もはや保持すべきでないデータの影響を排除し、モデルの有用性を他のすべてに保持することを目的としています。 Low-Rank Adaptation (LoRA)は、このような更新を実装する効率的な方法を提供するが、多くのシーケンシャルなLoRAモジュールを組み合わせることで、パラメータの衝突につながる。 Singular Value Decomposition (SVD)-guided orthogonal subspace projection に基づく静的な代替法を提案する。
  論文  参考訳（メタデータ） (2026-04-14T09:59:32Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Agentic Learner with Grow-and-Refine Multimodal Semantic Memory [50.81667005063605]
  ViLoMemは、コンパクトなスキーマベースのメモリを構築するデュアルストリームメモリフレームワークである。 視覚的障害パターンと論理的推論エラーを符号化し、MLLMが成功し失敗した経験から学ぶことを可能にする。
  論文  参考訳（メタデータ） (2025-11-26T18:55:08Z)
• Continual Learning via Sparse Memory Finetuning [58.163704181154834]
  本稿では,スパースパラメータの更新が大惨事な忘れをせずに学習を可能にするかどうかを考察する。 事前学習データの使用に関する新しい知識によって活性化されるメモリスロットのみを更新することにより、新しい知識とモデルの既存の能力との干渉を減らすことができる。 スパースメモリの微調整は、忘れることを大幅に減らしながら、新しい知識を学習することを発見した。
  論文  参考訳（メタデータ） (2025-10-16T19:44:38Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• NORM: Knowledge Distillation via N-to-One Representation Matching [18.973254404242507]
  本稿では,2つの線形層からなる簡易な特徴変換 (FT) モジュールに依存する2段階の知識蒸留法を提案する。 教師ネットワークが学習した無傷情報を保存するため、我々のFTモジュールは学生ネットワークの最後の畳み込み層にのみ挿入される。 拡張された生徒表現を、教師と同じ数の特徴チャネルを持つN個の非重複特徴セグメントに順次分割することにより、教師表現を同時に近似させる。
  論文  参考訳（メタデータ） (2023-05-23T08:15:45Z)
• Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
  本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。 MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
  論文  参考訳（メタデータ） (2022-01-03T02:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。