Fugu-MT 論文翻訳(概要): Geometry-Preserving Orthonormal Initialization for Low-Rank Adaptation in RLVR

論文の概要: Geometry-Preserving Orthonormal Initialization for Low-Rank Adaptation in RLVR

arxiv url: http://arxiv.org/abs/2606.31813v1
Date: Tue, 30 Jun 2026 15:27:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-01 18:27:19.284048
Title: Geometry-Preserving Orthonormal Initialization for Low-Rank Adaptation in RLVR
Title（参考訳）: RLVRにおける低ランク適応のための幾何保存直交初期化
Abstract要約: 低ランク適応(LoRA)とその変種は、教師付き微調整パラダイムの下で大きな言語モデルのパラメータ効率の良い微調整を可能にする。 2つの構造的なLoRA派生型、PiSSAとMiLoRAは、検証可能な報酬(RLVR)による強化学習の下で標準のLoRAより優れ、訓練不安定性を示すこともある。
参考スコア（独自算出の注目度）: 22.761873383120786
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Low-rank adaptation (LoRA) and its variants enable parameter-efficient fine-tuning of large language models under the supervised fine-tuning (SFT) paradigm. However, their efficacy and behavior under Reinforcement learning with verifiable rewards (RLVR) are less well understood. In particular, two structurally initialized LoRA variants, PiSSA and MiLoRA, which outperform standard LoRA under SFT, can underperform standard LoRA under RLVR and may even exhibit training instability. These observations suggest that how to initialize the low-rank matrices in RLVR remains unclear. In this work, we develop a theoretical analysis of LoRA in RLVR, showing that orthonormal initialization achieves the minimal gap between LoRA outcome and that of full fine-tuning. Guided by this insight, we propose geometry-preserving orthonormal initialization for low-rank adaptation in RLVR, leading to two new variants, RLPO and RLMO. Experiments on mathematical reasoning benchmarks show that the proposed orthonormal initialization stabilizes RLVR training and outperforms standard LoRA, contrasting with PiSSA and MiLoRA. Finally, our unified analysis for LoRA initialization also explains why PiSSA and MiLoRA can underperform in RLVR, which may be of independent interest. Code and checkpoints are publicly available at https://github.com/Richard-ZZZ/geometry-preserving-orthonormal-init-rlvr.
Abstract（参考訳）: 低ランク適応(LoRA)とその変種は、教師付き微調整(SFT)パラダイムの下で大きな言語モデルのパラメータ効率の良い微調整を可能にする。しかし, 検証可能な報酬(RLVR)を用いた強化学習(Reinforcement Learning, RLVR)における効果と行動は, あまり理解されていない。特に、構造的に初期化された2つのLoRA派生型、PiSSAとMiLoRAは、SFTの下で標準のLoRAより優れており、RLVRの下で標準のLoRAを過小評価でき、訓練不安定性を示すこともある。これらの結果から,RLVRにおける低ランク行列の初期化方法が不明であることが示唆された。本研究では、RLVRにおけるLoRAの理論的解析を行い、正則初期化がLoRA結果と完全微調整の最小のギャップを達成できることを示す。この知見により,RLVRにおける低ランク適応のための幾何保存正則初期化を提案し,RLPOとRLMOの2つの新しい変種を導いた。数学的推論ベンチマークの実験により、提案された正規正規化初期化はRLVRトレーニングを安定化し、PiSSAやMiLoRAと対照的に標準のLoRAを上回っていることが示された。最後に、LoRAの初期化に関する統一的な分析は、PiSSAとMiLoRAがRLVRで劣る理由も説明しています。コードとチェックポイントはhttps://github.com/Richard-ZZ/geometry-preserving-orthonormal-init-rlvr.comで公開されている。

関連論文リスト

Post-Optimization Adaptive Rank Allocation for LoRA [10.796887002907456]
Post-Optimization Adaptive Rank Allocation (PARA) はローランド適応データ自由圧縮法である。我々は,既存の微調整パイプラインにシームレスに統合されたLoRAのデータフリー圧縮手法であるPARAを提案する。 PARAは、視覚および言語ベンチマークにおけるオリジナルの圧縮されていないLoRAの予測性能を維持しながら、パラメータ数を75-90%削減することを示した。
論文参考訳（メタデータ） (2026-04-30T12:40:11Z)
Learning Rate Matters: Vanilla LoRA May Suffice for LLM Fine-tuning [48.66442009036754]
Low-Rank Adaptation (LoRA)は、効率的な大規模言語モデルの微調整のための一般的なアプローチである。本研究では,バニラ・ロラとともに4つの代表的ロラ変種を再評価する。異なるLoRA手法が学習率の異なる範囲を好んでいることが判明した。
論文参考訳（メタデータ） (2026-02-04T19:36:20Z)
Evaluating Parameter Efficient Methods for RLVR [38.45552186628944]
RLVR(Reinforcement Learning with Verifiable Rewards)は、言語モデルにインセンティブを与え、検証可能なフィードバックを通じて推論能力を高める。 LoRAのような手法は一般的に使われているが、RLVRのための最適なPEFTアーキテクチャは未同定のままである。本稿では,DeepSeek-R1-Distill 系における12以上のPEFT手法の数学的推論ベンチマークによる総合評価を行った。
論文参考訳（メタデータ） (2025-12-29T03:13:08Z)
The Path Not Taken: RLVR Provably Learns Off the Principals [85.41043469428365]
スパーシティはモデル条件の最適化バイアスの表面積であることを示す。我々はこれらの力学を三ゲージ理論で機械的に説明する。本稿では,RLVRの学習力学のパラメータレベルの特徴付けを行う。
論文参考訳（メタデータ） (2025-11-11T18:49:45Z)
Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
論文参考訳（メタデータ） (2025-09-24T10:32:50Z)
QR-LoRA: QR-Based Low-Rank Adaptation for Efficient Fine-Tuning of Large Language Models [0.0]
Low-Rank Adaptation (LoRA)は、トレーニング済みの重みに低ランク更新を適用することで、トレーニング可能なパラメータの数を減らす手法である。 QR-LoRAは, 完全微調整, 標準LoRA, SVD-LoRAの性能と一致するか, 以上の性能を示す。
論文参考訳（メタデータ） (2025-08-29T17:47:27Z)
SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。 SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
論文参考訳（メタデータ） (2025-05-18T14:12:40Z)
Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? [66.61292196146016]
RLVR(Reinforcement Learning with Verifiable Rewards)は近年,大規模言語モデル(LLM)の推論性能の向上に成功している。本研究はRLVRの現状を批判的に考察する。現在のトレーニング設定では、根本的な新しい推論パターンが生まれていないことが分かりました。
論文参考訳（メタデータ） (2025-04-18T17:59:56Z)
SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
論文参考訳（メタデータ） (2025-01-22T20:00:41Z)
LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
論文参考訳（メタデータ） (2024-07-25T17:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。