論文の概要: Sparse Memory Finetuning as a Low-Forgetting Alternative to LoRA and Full Finetuning

• arxiv url: http://arxiv.org/abs/2605.03229v1
• Date: Mon, 04 May 2026 23:46:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.685039
• Title: Sparse Memory Finetuning as a Low-Forgetting Alternative to LoRA and Full Finetuning
• Title（参考訳）: LoRAの代替品としてのスパースメモリファインタニングとフルファインタニング
• Abstract要約: 事前訓練された言語モデルを新しいタスクに適用することは、しばしば、既に持っている一般的な能力を損なう。 スパースメモリ微細化(Sparse Memory Finetuning)は、モデルにキーバリューメモリ層を追加することでこれを回避しようとする。 我々はQwen-2.5-0.5B-InstructでSMFを再実装し、LoRAと比較し、MedMCQAで完全な微調整を行う。
• 参考スコア（独自算出の注目度）: 6.491055956716639
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting a pretrained language model to a new task often hurts the general capabilities it already had, a problem known as catastrophic forgetting. Sparse Memory Finetuning (SMF) tries to avoid this by adding key-value memory layers to the model and, on each training step, updating only the small set of memory rows that the current batch reads most heavily. We re-implement SMF on Qwen-2.5-0.5B-Instruct and compare it with LoRA and full finetuning on MedMCQA, a 4-choice medical exam task, using WikiText perplexity and TriviaQA accuracy as forgetting probes. SMF improves MedMCQA by 2.5 percentage points while keeping both forgetting probes within roughly 1 point of the base model, whereas LoRA and full finetuning achieve larger gains but with clear drift on both. We also compare two row-selection rules (KL-divergence and TF-IDF), which balance the two forgetting metrics differently.
• Abstract（参考訳）: 事前訓練された言語モデルを新しいタスクに適用することは、しばしば、既に持っている一般的な能力を損なう。 Sparse Memory Finetuning (SMF) は、モデルにキー値のメモリ層を追加することでこれを回避しようとしている。 我々はQwen-2.5-0.5B-InstructにSMFを再実装し、LoRAと比較し、WikiTextの難易度とTriviaQAの精度を忘れるプローブとして用いて、4コマ検診タスクであるMedMCQAをフル微調整した。 SMF は MedMCQA を 2.5 ポイント改善し, 2 つのプローブをベースモデルの約 1 ポイントに留める一方,LoRA と完全微調整は大きな利得を達成できるが,どちらも明らかなドリフトを達成している。 また,2つの行選択規則 (KL-divergence と TF-IDF) を比較する。

関連論文リスト

• Dual-Grained Agent Memory and Shapley Context Attribution for Multimodal Agentic Learner [55.80248281761638]
  マルチモーダルな大言語モデル (MLLM) は、科学的および数学的推論において、印象的な認識を提供する。 本稿では,DG-Memを提案する。DG-Memは,トレーニングタイムのロールアウトから一度構築した外部記憶メモリと,テスト時に読み取り専用に相談することで,凍結したMLLMを拡張可能なエージェントメモリフレームワークである。
  論文  参考訳（メタデータ） (2026-08-24T13:56:01Z)
• SENTRY: SAM2-Enhanced Neighbor-Aware and Temporally Reasoned Memory for Visual Tracking [39.49925011934288]
  SAM2ベースのビジュアルオブジェクトトラッキングにおけるメモリ更新機構を再検討する。 本稿では,SENTRYについて紹介する。 コミットする前に、各メモリ更新を短時間の時間的一貫性で検証する。
  論文  参考訳（メタデータ） (2026-06-23T11:35:15Z)
• From Player to Master: Enhancing Test-Time Learning of LLM Agents via Reinforcement Learning over Memory [27.810603317768997]
  大規模言語モデル(LLM)エージェントは、テスト時のエクスペリエンス改善が重要となる長時間実行環境にますますデプロイされる。 本稿では,メモリ更新処理を明示的にトレーニングし,逐次的相互作用による凍結LDMの性能向上を図るプラグインメモリコンパレータであるMemoPilotを提案する。 マルチラウンドRock-Paper-Scissors(RPS)とLimit Texas Hold'em(LHE)の2つのテストベッド上でMemoPilotを評価する。
  論文  参考訳（メタデータ） (2026-06-07T14:53:19Z)
• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
  言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。 MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-06-01T21:49:54Z)
• Beyond LoRA vs. Full Fine-Tuning: Gradient-Guided Optimizer Routing for LLM Adaptation [15.4865294569737]
  フルファインチューニング(FFT)は、高エントロピー知識注入に必要な表現塑性を提供する。 Low-Rank Adaptation (LoRA)は、多くのタスクはローランク空間の更新とLoRAの追加正規化の恩恵しか必要としないため、FFTのパフォーマンスに適合または超越することができる。 両トレーニング体制間の連続的なナビゲーションを可能にする統合フレームワークであるLoRAとFull (MoLF) Fine-Tuningを提案する。
  論文  参考訳（メタデータ） (2026-05-08T01:38:58Z)
• HiGMem: A Hierarchical and LLM-Guided Memory System for Long-Term Conversational Agents [9.454943641700392]
  HiGMemは2段階のイベントターンメモリシステムで、イベントサマリーをセマンティックアンカーとして使用して、どのターンが読む価値があるかを予測している。 LoCoMo10ベンチマークでは、HiGMemは5つの質問カテゴリのうち4つで最高のF1を達成し、A-Memよりも逆F1を0.54から0.78に改善した。
  論文  参考訳（メタデータ） (2026-04-20T14:44:12Z)
• Training Large Reasoning Models Efficiently via Progressive Thought Encoding [63.254758972725654]
  大規模推論モデル(LRM)は複雑な問題に優れるが、効率にとって重要な障壁に直面している。 本稿では,パラメータ効率のよい微調整手法であるProgressive Thoughtを紹介する。
  論文  参考訳（メタデータ） (2026-02-18T20:03:38Z)
• InfMem: Learning System-2 Memory Control for Long-Context Agent [43.413381779578266]
  InfMemは、PreThink-Retrieve-Writeプロトコルを介してSystem-2スタイルの制御をインスタンス化する制御中心のエージェントである。 32kから100Mまでの超長期のQAベンチマークでは、InfMemはバックボーン全体でMemAgentを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-02T19:15:08Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• LoRA$^2$ : Multi-Scale Low-Rank Approximations for Fine-Tuning Large Language Models [3.7049613588433497]
  Low-Rank Adaptation (LoRA)は、微調整のためのトレーニング可能なパラメータの数を著しく削減する。 LoRAを複数のスケールに拡張し、LoRA$2$と名付けます。
  論文  参考訳（メタデータ） (2024-08-13T12:31:30Z)
• LoftQ: LoRA-Fine-Tuning-Aware Quantization for Large Language Models [104.23434818428062]
  我々は、事前訓練されたモデルに量子化とLoRA微調整を併用するシナリオに焦点を当てる。 本稿では,新しい量子化フレームワークであるLoftQ(LoRA-Fine-Tuning-Aware Quantization)を提案する。 実験の結果,本手法は有効であり,既存の量子化法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-12T18:34:08Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)
• Large Product Key Memory for Pretrained Language Models [12.932177565788974]
  製品キーメモリ(PKM)は、計算オーバーヘッドの少ないモデル容量を効率的に増やし、予測精度を向上させる。 近年のPLM(Pretrained Language Model)の成功に触発されて,多種多様なNLPタスクに適する大規模なPKMをPLMに組み込む方法について検討した。
  論文  参考訳（メタデータ） (2020-10-08T10:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。