論文の概要: How LoRA Remembers? A Parametric Memory Law for LLM Finetuning

• arxiv url: http://arxiv.org/abs/2605.30260v1
• Date: Thu, 28 May 2026 17:22:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 05:02:24.583322
• Title: How LoRA Remembers? A Parametric Memory Law for LLM Finetuning
• Title（参考訳）: LLMファインタニングのパラメトリックメモリ法則
• Authors: Ziwen Xu, Haiwen Hong, Linsong Yu, Benglei Cui, Longtao Huang, Hui Xue, Ningyu Zhang,
• Abstract要約: 本稿では、損失削減デルタLを有効パラメータとシーケンス長にリンクするロバスト電力法であるParametric Memory Lawを導入する。 トークンレベルでは、きめ細かい分析により決定論的相転移が明らかとなり、p > 0.5 の予測確率がリコールに十分な条件であることを示す。 MemFTは閾値誘導最適化戦略であり、トレーニング予算をサブ閾値トークンに動的に再分配する。
• 参考スコア（独自算出の注目度）: 29.141706047011862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) must continuously learn and update knowledge to remain effective in dynamic real-world environments. While Low-Rank Adaptation (LoRA) is widely used for such memory updates, existing studies mainly rely on qualitative downstream evaluations, leaving the quantitative capacity limits and underlying dynamics of exact parametric memory largely unexplored. To bridge this gap, we employ LoRA as a controlled memory capacity probe within the latent space to systematically quantify exact parametric memory. We introduce the Parametric Memory Law, a robust power law linking loss reduction Delta L to effective parameters and sequence length. At the token level, fine-grained analysis reveals a deterministic phase transition, demonstrating that a prediction probability of p > 0.5 constitutes a sufficient condition for verbatim recall under greedy decoding. Driven by these insights, we introduce MemFT, a threshold-guided optimization strategy that dynamically redistributes the training budget toward sub-threshold tokens. Empirical evaluations demonstrate that MemFT can enhance memory fidelity and efficiency. Code will be released at https://github.com/zjunlp/ParametricMemoryLaw.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、動的実世界の環境において、継続的に学び、知識を更新し続けなければならない。 Low-Rank Adaptation (LoRA) はそのようなメモリ更新に広く使われているが、既存の研究は主に定性的下流の評価に依存しており、量的容量制限と正確なパラメトリックメモリの基盤となるダイナミクスはほとんど探索されていない。 このギャップを埋めるために、我々は、正確なパラメトリックメモリを体系的に定量化するために、潜在空間内の制御メモリ容量プローブとしてLoRAを用いる。 本稿では、損失削減デルタLを有効パラメータとシーケンス長にリンクするロバスト電力法であるParametric Memory Lawを導入する。 トークンレベルでは、微粒化分析により決定論的相転移が明らかとなり、p > 0.5 の予測確率が、欲求復号の下での動詞的リコールに十分であることを示す。 これらの知見に基づいて、我々は閾値誘導最適化戦略であるMemFTを導入し、トレーニング予算をサブ閾値トークンに動的に再分配する。 経験的評価は、MemFTがメモリの忠実度と効率を向上させることを証明している。 コードはhttps://github.com/zjunlp/ParametricMemoryLaw.comでリリースされる。

関連論文リスト

• Is One Score Enough? Rethinking the Evaluation of Sequentially Evolving LLM Memory [50.857546269660276]
  本稿では,大規模言語モデル(LLM)メモリを逐次進化させる診断評価フレームワークであるSeqMem-Evalを紹介する。 最終的なパフォーマンスのみに焦点を当てるのではなく、SeqMem-Evalは、シーケンシャル推論において、メモリ状態がどのように進化し、一般化し、エクスペリエンスを集約し、有用な情報を保持するかを評価する。
  論文  参考訳（メタデータ） (2026-05-14T20:15:22Z)
• Parameter Efficiency Is Not Memory Efficiency: Rethinking Fine-Tuning for On-Device LLM Adaptation [1.2559585990041289]
  LARS(Low-Memory Activation-Rank Subspace)は、シーケンス長からメモリ消費を分離する新しい適応フレームワークである。 LARSは、推論、理解、長文データセットにわたるLoRAと比較して、GPUで平均33.54%、CPUで51.95%のメモリフットプリントを削減している。
  論文  参考訳（メタデータ） (2026-04-03T17:05:33Z)
• Adaptive Memory Admission Control for LLM Agents [9.04001220868675]
  本稿では,メモリ入力を構造化決定問題として扱うフレームワークであるAdaptive Memory Admission Control (A-MAC)を提案する。 A-MACはメモリ値を5つの補完的・解釈可能な因子に分解する。 A-MACは精度のよいリコールトレードオフを実現し、F1を0.583に改善し、最先端のLLMネイティブメモリシステムに比べてレイテンシを31%削減した。
  論文  参考訳（メタデータ） (2026-03-04T19:32:02Z)
• NextMem: Towards Latent Factual Memory for LLM-based Agents [58.35585202907478]
  NextMemは、自動回帰型オートエンコーダを使用して、潜時メモリを効率的に構築する、潜時ファクトメモリフレームワークである。 大規模な実験は、NextMemが優れたパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2026-02-26T14:35:27Z)
• Memory-Efficient Fine-Tuning via Low-Rank Activation Compression [16.44044624606008]
  Low-Rank Activation Compression (LoRAct) はメモリ効率の良い微調整方式である。 LoRActは広く採用されているLoRA法と比較して、アクティベーションメモリを約80%削減する。
  論文  参考訳（メタデータ） (2025-09-27T19:48:32Z)
• MLorc: Momentum Low-rank Compression for Memory Efficient Large Language Model Adaptation [24.943207005554246]
  我々は、モメンタム低ランク圧縮(MLorc)と呼ばれるメモリ効率の訓練パラダイムを提案する。 MLorcの鍵となる考え方は、トレーニング中に行列パラメータのモーメントを圧縮して再構成し、メモリ消費を減らすことである。
  論文  参考訳（メタデータ） (2025-06-02T17:21:10Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。