論文の概要: Learning New Facts with QLoRA: An Acquisition-Retention Frontier

• arxiv url: http://arxiv.org/abs/2608.25677v2
• Date: Thu, 27 Aug 2026 14:10:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 14:16:51.879016
• Title: Learning New Facts with QLoRA: An Acquisition-Retention Frontier
• Title（参考訳）: QLoRAによる新たなFactsの学習 - 買収維持フロンティア
• Abstract要約: 制御されたOpenStreetMap由来のベンチマークにおいて,実際の取得について検討する。 フル微調整(FFT)と量子化低ランク適応(QLoRA)を8,16,32,64で比較した。 別の数学適応実験は、より弱いフロンティアを示し、適応が新しい事実関連をインストールしなければならない場合に最も顕著な効果を示すことを示唆している。
• 参考スコア（独自算出の注目度）: 4.073849137967963
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Parameter-efficient fine-tuning is often assumed to preserve pretrained capabilities because it updates only a small number of parameters. We show that this assumption depends strongly on adapter capacity. We study factual acquisition in a controlled OpenStreetMap-derived benchmark where Qwen3-4B must acquire anonymized geographic associations while retaining unrelated capabilities. Comparing full fine-tuning (FFT) with quantized low-rank adaptation (QLoRA) at ranks 8, 16, 32, and 64, we find that rank induces a clear acquisition--retention frontier. Low-rank QLoRA preserves out-of-domain (OOD) performance but acquires fewer facts, whereas higher ranks improve same-fact paraphrase generalization at an increasing cost in performance on unrelated benchmarks. FFT behaves as a conservative baseline: it retains general capabilities well, but does not reach the highest factual-acquisition regime. Distributional, weight-space, and spectral diagnostics mirror this behavioral trade-off, with higher-rank QLoRA moving farther from the pretrained model. A separate math adaptation experiment shows a weaker frontier, suggesting that the effect is most pronounced when adaptation must install new factual associations rather than reinforce skills already supported by pretraining. Code and data are available at https://github.com/zhngstl/new_facts_forgetting.
• Abstract（参考訳）: パラメータ効率のよい微調整は、少数のパラメータだけを更新するので、事前訓練された能力を維持するとしばしば仮定される。 この仮定はアダプタの容量に強く依存している。 我々は,Qwen3-4Bが無関係な能力を保ちながら,匿名化された地理的関連性を取得しなければならない,制御されたOpenStreetMapベースのベンチマークにおいて,実際の取得について検討する。 フル微調整 (FFT) と量子化低ランク適応 (QLoRA) を8, 16, 32, 64で比較すると, ランクが明確な獲得フロンティアを生じさせることがわかった。 低ランクQLoRAはドメイン外性能(OOD)を維持するが、より少ない事実を取得する。 FFTは保守的な基準線として振る舞うが、一般的な能力は保たれているが、事実上の獲得体制には達していない。 分布、重量空間、スペクトル診断は、この行動トレードオフを反映し、事前訓練されたモデルから遠くに高いランクのQLoRAが移動する。 別個の数学適応実験はフロンティアの弱さを示し、適応が事前訓練によってすでに支持されている強化スキルよりも、新しい事実関連をインストールしなければならない場合に最も顕著であることを示している。 コードとデータはhttps://github.com/zhngstl/new_facts_forgetting.comで公開されている。

関連論文リスト

• TailSFT: Filtered Fine-Tuning Improves Post-Training Performance [42.86459618441938]
  強化学習のポストトレーニングは、現代のAIシステムにおける推論とエージェント能力を促進する。 我々は、教師付き微調整(TailSFT)の簡単な修正を設計し、トレーニング中にすでに適合しているシーケンスをフィルタリングする。 OLMo-3 7Bでは、TailSFTは数学とコーディング評価のパス@16のパフォーマンスを最大17%向上させる。
  論文  参考訳（メタデータ） (2026-08-26T13:04:08Z)
• LAARA: Layer-Aware Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning [13.12609725011405]
  低ランク適応はパラメータ効率の微調整に広く用いられている。 我々は、一様ランクの割り当てが基本的に準最適であることを理論的、実証的に示す。 ランクを動的に割り当てる検索不要のフレームワークであるLAARAを提案する。
  論文  参考訳（メタデータ） (2026-07-02T19:01:59Z)
• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs [59.62441340813425]
  我々は、強化学習がパラメトリック知識の直接的リコールを改善するかどうかを検討する。 3つのモデルファミリと複数の事実QAベンチマークで、RLの平均相対利得は27%である。 機械的には、RLは主に新しい事実を得るのではなく、既存の知識の確率質量を再分配する。
  論文  参考訳（メタデータ） (2026-05-08T02:40:12Z)
• Rethinking Generalization in Reasoning SFT: A Conditional Analysis on Optimization, Data, and Model Capability [64.97610656176981]
  LLMポストトレーニングでは、教師付き微調整(SFT)が記憶し、強化学習(RL)が一般化される。 我々は、長いチェーン・オブ・シークレット(CoT)の監督でSFTを推論するこの主張を再考し、クロスドメインの一般化は欠落ではなく条件付きであることを見出した。
  論文  参考訳（メタデータ） (2026-04-08T03:11:16Z)
• Layer-wise LoRA fine-tuning: a similarity metric approach [0.6323908398583081]
  Low-Rank Adaptation (LoRA) 技術は、事前学習されたモデルを凍結し、少数のパラメータを更新することで、このプロセスの計算コストを削減することを目的としている。 従来の問題に対して,LoRAやその変種を用いて,少数の層のみを微調整に体系的に選択することで対処する。 異なるモデルやタスク間で予測性能を維持しながら、LoRAベースのテクニックのトレーニング可能なパラメータを最大50%削減する。
  論文  参考訳（メタデータ） (2026-02-05T18:38:53Z)
• Relative Scaling Laws for LLMs [91.73497548097775]
  スケーリング法則は、追加のデータ、パラメータ、計算によって言語モデルがどのように改善されるかを記述する。 相対的なスケーリング法則を導入し、テスト分布間のパフォーマンスギャップをスケールで追跡する。 これらの結果は、スケーリングは全体的なパフォーマンスを改善するが、普遍的等化器ではないことを示している。
  論文  参考訳（メタデータ） (2025-10-28T16:55:22Z)
• LIFT the Veil for the Truth: Principal Weights Emerge after Rank Reduction for Reasoning-Focused Supervised Fine-Tuning [32.86747945245703]
  LLMの教師付き微調整により、強い推論能力が得られる。 フル微調整(Full FT)は計算コストが高く、過度にフィットしたり忘れたりする可能性がある。 以前大きな成功を収めたスパース微調整は、効率性と有効性の間に有望なトレードオフを提供する。
  論文  参考訳（メタデータ） (2025-06-01T01:31:50Z)
• RaSA: Rank-Sharing Low-Rank Adaptation [67.40422142257091]
  低ランク適応(LoRA)は大規模言語モデル(LLM)のパラメータ効率の高い微調整に顕著に用いられている。 階層間の部分的なランク共有を活用することで,LoRAの表現能力を高める革新的な拡張であるRan-Sharing Low-Rank Adaptation (RaSA)を導入する。 我々の理論的根拠と実証的なアプローチは、RaSAがLoRAの中核的な利点を維持しているだけでなく、挑戦的なコードや数学タスクのパフォーマンスを大幅に向上していることを示している。
  論文  参考訳（メタデータ） (2025-03-16T17:16:36Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。