論文の概要: Reasoning-Preserving Fine-Tuning of Post-RL LLMs with Null-Basis LoRA

• arxiv url: http://arxiv.org/abs/2609.25618v1
• Date: Tue, 22 Sep 2026 03:25:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.190234
• Title: Reasoning-Preserving Fine-Tuning of Post-RL LLMs with Null-Basis LoRA
• Title（参考訳）: Null-Basis LoRAを用いた後RL膜微細調整
• Abstract要約: 強化学習(Reinforcement Learning, RL)に基づくポストトレーニングは, 大規模言語モデルにおける推論能力の抽出に有効な手法となっている。 しかし、後続の教師付き微調整を通じて、新しい知識領域や行動にポストRLモデルを適用することは、これらの能力を著しく上書きすることができる。 本稿では,Null-Basis Low-Rank Adaptation (NB-LoRA)を提案する。
• 参考スコア（独自算出の注目度）: 4.370838139925865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL)-based post-training has become an effective approach for eliciting reasoning capabilities in large language models (LLMs). However, adapting post-RL models to new knowledge domains or behaviors through subsequent supervised fine-tuning (SFT) can severely overwrite these capabilities. Existing approaches mitigate such forgetting through experience replay, specialized initialization, or constrained optimization using gradient projection, but either provide limited preservation or incur substantial training overhead. Our analysis shows that reasoning activations concentrate in low-dimensional subspaces, leaving substantial null-space capacity for adaptation, and that the corresponding approximate null spaces can be reliably estimated from a modest number of examples. Motivated by these observations, we propose Null-Basis Low-Rank Adaptation (NB-LoRA), a parameter-efficient method for adapting post-RL LLMs while preserving their acquired reasoning ability. We formulate reasoning retention as a layer-wise hidden-state preservation constraint and construct a fixed approximate null basis from reasoning activations. LoRA updates are then reparameterized through this basis, enforcing the preservation constraint throughout fine-tuning. Extensive experiments across multiple RL-trained LLMs and diverse downstream tasks show that NB-LoRA matches standard LoRA in adaptation performance, maintains reasoning accuracy near pre-fine-tuning levels, and generalizes this preservation to held-out reasoning benchmarks.
• Abstract（参考訳）: 強化学習(RL)に基づくポストトレーニングは,大規模言語モデル(LLM)における推論能力を引き出すための効果的なアプローチとなっている。 しかし、後続の教師付き微調整(SFT)を通じて、新しい知識領域や行動にポストRLモデルを適用することは、これらの機能を著しく上書きすることができる。 既存のアプローチは、経験のリプレイ、特殊初期化、勾配投影を用いた制約付き最適化を通じて、そのような忘れを緩和するが、限られた保存か、相当な訓練オーバーヘッドをもたらす。 解析により、推論活性化は低次元部分空間に集中し、適応のための実質的なヌル空間容量を残し、対応する近似ヌル空間を適度な例から確実に推定できることが示されている。 そこで本研究では,Null-Basis Low-Rank Adaptation (NB-LoRA)を提案する。 我々は、階層的に隠蔽状態保存制約として推論保持を定式化し、推論アクティベーションから固定された近似ヌル基底を構築する。 LoRA更新はこのベースで再パラメータ化され、微調整を通じて保存制約が強化される。 複数のRL学習LLMと様々な下流タスクにわたる大規模な実験により、NB-LoRAは適応性能において標準のLoRAと一致し、事前調整レベル付近での推論精度を維持し、この保存を保留推論ベンチマークに一般化することが示された。

関連論文リスト

• Bayesian Sparse Low-Rank Adaptation for Large Language Model Uncertainty Estimation [14.828620034157316]
  大規模言語モデル(LLM)は顕著な推論能力を示すが、タスク固有の微調整は自信過剰に悩まされている。 本研究では、高密度パラメータ空間から低ランク適応(LoRA)の軽量ランクレベルへの不確実性のパラダイムをシフトさせる、単純かつ効果的なベイズスパースフレームワークであるData-Adaptive Lower-Rank Adaptation (DALorRA)を提案する。 LoRAは、過剰なモデルのキャパシティを提供する可能性のある複数のランク1コンポーネントを集約するという考えから、DALorRAはランク次元にマスキングを課し、トレーニング中のモデルのキャパシティの正規化と推論時のアンサンブルのようなキャリブレーションを可能にする。
  論文  参考訳（メタデータ） (2026-07-02T13:52:12Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Revisiting LLM Reasoning via Information Bottleneck [57.519119962528166]
  大規模言語モデル(LLM)は、最近、検証可能な報酬付き強化学習(RLVR)を通じて推論能力の顕著な進歩を示した。 本稿では,情報ボトルネック(IB)の原理に基づくLLM推論の理論的特徴について述べる。 IB対応推論最適化(IBRO)を提案する。
  論文  参考訳（メタデータ） (2025-07-24T13:14:25Z)
• Token-Efficient RL for LLM Reasoning [0.02488650627593658]
  本稿では,大規模言語モデル (LLM) において,厳密なメモリと計算限界下での推論に適した強化学習戦略を提案する。 ベースラインサブトラクションを用いた早期ポリシー勾配法に基づいて,出力トークンの小さな情報サブセット上で動作する批判のない手法を設計する。 提案手法は,SVAMPベンチマークの精度を46%から70%以上に向上し,マルチ桁乗算において高い性能を示した。
  論文  参考訳（メタデータ） (2025-04-29T14:58:43Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Controlled Low-Rank Adaptation with Subspace Regularization for Continued Training on Large Language Models [13.56631686493347]
  大規模言語モデル(LLM)は、自然言語処理において顕著な能力を示すが、新しいタスクを学ぶ際に破滅的な忘れに直面している。 本稿では,LoRA 構造上の部分空間正規化手法である Controlled LoRA (CLoRA) を提案する。
  論文  参考訳（メタデータ） (2024-10-22T08:27:23Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。