論文の概要: MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2603.09892v1
• Date: Tue, 10 Mar 2026 16:49:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-11 15:25:24.47346
• Title: MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning
• Title（参考訳）: MSSR: LLMファインチューニングのためのメモリ対応アダプティブリプレイ
• Authors: Yiyang Lu, Yu He, Jianlong Chen, Hongyuan Zha,
• Abstract要約: 本稿では,サンプルレベルの記憶強度を推定し,アダプティブ間隔でリハーサルをスケジュールし,破滅的な忘れを緩和するエクスペリエンス・リプレイ・フレームワークを提案する。 3つのバックボーンモデルと11のシーケンシャルタスクにわたる大規模な実験は、MSSRが一貫して最先端のリプレイベースラインを上回っていることを示している。
• 参考スコア（独自算出の注目度）: 36.119948355819
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual fine-tuning of large language models (LLMs) is becoming increasingly crucial as these models are deployed in dynamic environments where tasks and data distributions evolve over time. While strong adaptability enables rapid acquisition of new knowledge, it also exposes LLMs to catastrophic forgetting, where previously learned skills degrade during sequential training. Existing replay-based strategies, such as fixed interleaved replay, accuracy-supervised, and loss-driven scheduling, remain limited: some depend on heuristic rules and provide only partial mitigation of forgetting, while others improve performance but incur substantial computational overhead. Motivated by retention dynamics under sequential fine-tuning, we propose Memory-Inspired Sampler and Scheduler Replay (MSSR), an experience replay framework that estimates sample-level memory strength and schedules rehearsal at adaptive intervals to mitigate catastrophic forgetting while maintaining fast adaptation. Extensive experiments across three backbone models and 11 sequential tasks show that MSSR consistently outperforms state-of-the-art replay baselines, with particularly strong gains on reasoning-intensive and multiple-choice benchmarks.
• Abstract（参考訳）: 大規模言語モデル(LLM)の継続的な微調整は、タスクやデータ分散が時間とともに進化する動的な環境にこれらのモデルが展開されるにつれて、ますます重要になっている。 強い適応性は、新しい知識を素早く獲得することを可能にする一方で、以前に学んだスキルが逐次トレーニング中に劣化する破滅的な忘れ物にもLLMを公開する。 既存のリプレイベースの戦略、例えば固定インターリーブド・リプレイ、精度管理、損失駆動型スケジューリングは、ヒューリスティックなルールに依存し、忘れる部分的緩和のみを提供する。 逐次微調整下での保持ダイナミクスによりモチベーションを得たメモリインスパイア・サンプリング・アンド・スケジューラ・リプレイ(MSSR)を提案する。 3つのバックボーンモデルと11のシーケンシャルタスクにわたる大規模な実験により、MSSRは一貫して最先端のリプレイベースラインを上回り、特に推論集約型および複数選択型ベンチマークで大きく向上した。

関連論文リスト

• MEMTS: Internalizing Domain Knowledge via Parameterized Memory for Retrieval-Free Domain Adaptation of Time Series Foundation Models [51.506429027626005]
  Memory for Time Series (MEMTS) は、時系列予測における検索不要領域適応のための軽量かつプラグアンドプレイ方式である。 MEMTSの鍵となるコンポーネントは知識永続化モジュール(KPM)であり、ドメイン固有の時間力学を内部化する。 このパラダイムシフトにより、MEMTSは定数時間推論とニアゼロレイテンシによる正確なドメイン適応を実現することができる。
  論文  参考訳（メタデータ） (2026-02-14T14:00:06Z)
• FOREVER: Forgetting Curve-Inspired Memory Replay for Language Model Continual Learning [63.20028888397869]
  FOREVER(FORgEtting curVe-inspired mEmory)は、リプレイスケジュールをモデル中心の時間の概念と整合させる新しいフレームワークである。 このアプローチに基づいて、ForeVERは、リプレイのタイミングを決定するための曲線ベースのリプレイスケジューラと、リプレイの方法を適応的に制御するインテンシティ対応の正規化機構を組み込んでいる。
  論文  参考訳（メタデータ） (2026-01-07T13:55:14Z)
• Forget Less, Retain More: A Lightweight Regularizer for Rehearsal-Based Continual Learning [51.07663354001582]
  ディープニューラルネットワークは破滅的な忘れ込みに悩まされ、新しいタスクのトレーニング後に以前のタスクのパフォーマンスが低下する。 本稿では,メモリベースの手法と正規化手法の交わりに着目し,この問題に対処する新しいアプローチを提案する。 我々は、メモリベース連続学習法において、情報最大化(IM)正則化と呼ばれる正規化戦略を定式化する。
  論文  参考訳（メタデータ） (2025-12-01T15:56:00Z)
• R-Tuning: Wavelet-Decomposed Replay and Semantic Alignment for Continual Adaptation of Pretrained Time-Series Models [15.189716355297326]
  Replay Tuning (R-Tuning) は、事前訓練された時系列モデルの継続的な適応のために設計された新しいフレームワークである。 R-Tuningは、周波数対応の再生戦略を通じて、前と現在のタスク知識の両方をキャプチャする統合潜在空間を構築する。
  論文  参考訳（メタデータ） (2025-11-12T08:32:08Z)
• MACE: A Hybrid LLM Serving System with Colocated SLO-aware Continuous Retraining Alignment [14.392166280035122]
  エッジサーバにデプロイされる大規模言語モデル(LLM)は、パーソナライズされたアシスタント、レコメンデーション、コンテンツモデレーションといった遅延に敏感なアプリケーションでますます利用されている。 既存のリトレーニング戦略は、モデル更新の遅延、再トレーニングのための過剰コミットリソース、イテレーションレベルのリトレーニングの粒度を見落としている。 我々は,同時推論(プリフィル,デコード)と微調整を同時に行うハイブリッドLLMシステムであるMACEを提案し,知的メモリ管理により,推論スループットを約束しながらタスク性能を最大化する。
  論文  参考訳（メタデータ） (2025-09-28T18:45:28Z)
• Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
  大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。 現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。 そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
  論文  参考訳（メタデータ） (2024-12-03T07:25:30Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Class-Incremental Learning Using Generative Experience Replay Based on Time-aware Regularization [24.143811670210546]
  生成体験 リプレイは、忘れずに蓄積的に新しいタスクを学ぶという課題に対処する。 生成的再生に用いる3つの学習目標語を微調整するための時間認識正規化手法を提案する。 実験結果から,本手法は脳に触発された連続学習者の限界を,そのような厳密な条件下で押し上げることが示唆された。
  論文  参考訳（メタデータ） (2023-10-05T21:07:45Z)
• AdaER: An Adaptive Experience Replay Approach for Continual Lifelong Learning [16.457330925212606]
  持続的生涯学習の課題に対処するために,適応的経験リプレイ(AdaER)を提案する。 AdaERはメモリリプレイとメモリ更新という2つのステージで構成されている。 結果: AdaERは、既存の持続的生涯学習ベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-08-07T01:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。