論文の概要: Sparse Memory Finetuning as a Low-Forgetting Alternative to LoRA and Full Finetuning

• arxiv url: http://arxiv.org/abs/2605.03229v1
• Date: Mon, 04 May 2026 23:46:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.685039
• Title: Sparse Memory Finetuning as a Low-Forgetting Alternative to LoRA and Full Finetuning
• Title（参考訳）: LoRAの代替品としてのスパースメモリファインタニングとフルファインタニング
• Authors: Prakhar Gupta, Garv Shah, Satyam Goyal, Anirudh Kanchi,
• Abstract要約: 事前訓練された言語モデルを新しいタスクに適用することは、しばしば、既に持っている一般的な能力を損なう。 スパースメモリ微細化(Sparse Memory Finetuning)は、モデルにキーバリューメモリ層を追加することでこれを回避しようとする。 我々はQwen-2.5-0.5B-InstructでSMFを再実装し、LoRAと比較し、MedMCQAで完全な微調整を行う。
• 参考スコア（独自算出の注目度）: 6.491055956716639
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting a pretrained language model to a new task often hurts the general capabilities it already had, a problem known as catastrophic forgetting. Sparse Memory Finetuning (SMF) tries to avoid this by adding key-value memory layers to the model and, on each training step, updating only the small set of memory rows that the current batch reads most heavily. We re-implement SMF on Qwen-2.5-0.5B-Instruct and compare it with LoRA and full finetuning on MedMCQA, a 4-choice medical exam task, using WikiText perplexity and TriviaQA accuracy as forgetting probes. SMF improves MedMCQA by 2.5 percentage points while keeping both forgetting probes within roughly 1 point of the base model, whereas LoRA and full finetuning achieve larger gains but with clear drift on both. We also compare two row-selection rules (KL-divergence and TF-IDF), which balance the two forgetting metrics differently.
• Abstract（参考訳）: 事前訓練された言語モデルを新しいタスクに適用することは、しばしば、既に持っている一般的な能力を損なう。 Sparse Memory Finetuning (SMF) は、モデルにキー値のメモリ層を追加することでこれを回避しようとしている。 我々はQwen-2.5-0.5B-InstructにSMFを再実装し、LoRAと比較し、WikiTextの難易度とTriviaQAの精度を忘れるプローブとして用いて、4コマ検診タスクであるMedMCQAをフル微調整した。 SMF は MedMCQA を 2.5 ポイント改善し, 2 つのプローブをベースモデルの約 1 ポイントに留める一方,LoRA と完全微調整は大きな利得を達成できるが,どちらも明らかなドリフトを達成している。 また,2つの行選択規則 (KL-divergence と TF-IDF) を比較する。

関連論文リスト

• HiGMem: A Hierarchical and LLM-Guided Memory System for Long-Term Conversational Agents [9.454943641700392]
  HiGMemは2段階のイベントターンメモリシステムで、イベントサマリーをセマンティックアンカーとして使用して、どのターンが読む価値があるかを予測している。 LoCoMo10ベンチマークでは、HiGMemは5つの質問カテゴリのうち4つで最高のF1を達成し、A-Memよりも逆F1を0.54から0.78に改善した。
  論文  参考訳（メタデータ） (2026-04-20T14:44:12Z)
• Training Large Reasoning Models Efficiently via Progressive Thought Encoding [63.254758972725654]
  大規模推論モデル(LRM)は複雑な問題に優れるが、効率にとって重要な障壁に直面している。 本稿では,パラメータ効率のよい微調整手法であるProgressive Thoughtを紹介する。
  論文  参考訳（メタデータ） (2026-02-18T20:03:38Z)
• InfMem: Learning System-2 Memory Control for Long-Context Agent [43.413381779578266]
  InfMemは、PreThink-Retrieve-Writeプロトコルを介してSystem-2スタイルの制御をインスタンス化する制御中心のエージェントである。 32kから100Mまでの超長期のQAベンチマークでは、InfMemはバックボーン全体でMemAgentを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-02T19:15:08Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• LoRA$^2$ : Multi-Scale Low-Rank Approximations for Fine-Tuning Large Language Models [3.7049613588433497]
  Low-Rank Adaptation (LoRA)は、微調整のためのトレーニング可能なパラメータの数を著しく削減する。 LoRAを複数のスケールに拡張し、LoRA$2$と名付けます。
  論文  参考訳（メタデータ） (2024-08-13T12:31:30Z)
• LoftQ: LoRA-Fine-Tuning-Aware Quantization for Large Language Models [104.23434818428062]
  我々は、事前訓練されたモデルに量子化とLoRA微調整を併用するシナリオに焦点を当てる。 本稿では,新しい量子化フレームワークであるLoftQ(LoRA-Fine-Tuning-Aware Quantization)を提案する。 実験の結果,本手法は有効であり,既存の量子化法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-12T18:34:08Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)
• Large Product Key Memory for Pretrained Language Models [12.932177565788974]
  製品キーメモリ(PKM)は、計算オーバーヘッドの少ないモデル容量を効率的に増やし、予測精度を向上させる。 近年のPLM(Pretrained Language Model)の成功に触発されて,多種多様なNLPタスクに適する大規模なPKMをPLMに組み込む方法について検討した。
  論文  参考訳（メタデータ） (2020-10-08T10:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。