論文の概要: Retraction-Free Optimization over the Stiefel Manifold for the LoRA Fine-Tuning

• arxiv url: http://arxiv.org/abs/2607.25299v1
• Date: Tue, 28 Jul 2026 05:22:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.718463
• Title: Retraction-Free Optimization over the Stiefel Manifold for the LoRA Fine-Tuning
• Title（参考訳）: LoRAファインチューニングのためのスティフェル多様体上のリトラクションフリー最適化
• Abstract要約: Stiefel上のデータセットは、さまざまな機械学習タスクで重要な役割を果たす。 既存の方法は多様体作用素を使い、大規模行列に対してコストのかかる正則化を必要とするか、あるいは多様体のチューニング法を用いる。
• 参考スコア（独自算出の注目度）: 17.71677083154088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimization over the Stiefel manifold plays a significant role in various machine learning tasks. Existing methods either use the retraction operators, requiring costly orthonormalization for large-scale matrices, or employ landing methods that rely on careful step size selection and penalty parameter tuning. To address these challenges, we propose a retraction-free and penalty parameter-free algorithm that directly lands on the manifold. By leveraging the strongly-convex-like property of the quadratic penalty function and the proximal smoothness of the Stiefel manifold, we establish global convergence guarantees with the best-known iteration complexities under both constant and diminishing step sizes. Then, we reformulate the low-rank adaptation (LoRA) fine-tuning problem for large language models as a manifold optimization problem, introducing Manifold-LoRA for geometry-accelerated adaptation. This approach employs the proposed landing technique and a carefully designed step size strategy to accelerate the training process. Numerical experiments on benchmark datasets demonstrate the efficiency and strong downstream performance of the proposed method.
• Abstract（参考訳）: スティーフェル多様体上の最適化は、様々な機械学習タスクにおいて重要な役割を果たす。 既存の方法は、リトラクション演算子を使用し、大規模行列に対してコストのかかる正規化を必要とするか、注意深いステップサイズ選択とペナルティパラメータチューニングに依存するランディング手法を用いる。 これらの課題に対処するために,多様体に直接着地する引き抜き自由かつペナルティのないパラメータフリーアルゴリズムを提案する。 二次ペナルティ関数の強凸的な性質とスティーフェル多様体の近位滑らかさを活用することにより、定数と減少するステップサイズの両方の下で最もよく知られた反復複素量を持つ大域収束保証を確立する。 次に,大言語モデルに対するローランク適応(LoRA)の微調整問題を多様体最適化問題として再構成し,幾何加速度適応のためのマニフォールド-LoRAを導入する。 このアプローチでは, 提案手法と慎重に設計されたステップサイズ戦略を用いて, 訓練プロセスの高速化を行う。 ベンチマークデータセットの数値実験により,提案手法の効率性および下流特性が実証された。

関連論文リスト

• Zero-order Parameter-free Optimization for LMO-based Methods: Novel Approach for Efficient Fine-tuning [46.539149169728624]
  大規模な微調整の大きな障害は、バックプロパゲーションのメモリオーバーヘッドである。 $texttAdaNAGED$は、勾配なしトレーニング、適応チューニング、非ユークリッド更新幾何学を統一するメソッドである。
  論文  参考訳（メタデータ） (2026-06-12T21:46:54Z)
• A Riemannian Approach to Low-Rank Optimal Transport [10.296598409953278]
  低ランク最適輸送(OT)は古典的ソルバの2次スケーリングを緩和するが、既存のアプローチは1次ミラーの更新に大きく依存している。 低ランクOTのための統一リーマン幾何学的枠組みを提案し、バランスの取れたランクとアンバランスなランク-$r$正の係数結合をモデル化する。 我々の正則化のない1次および2次解法は、既存の最先端の低ランクOT解法よりも高速な収束と優れた性能を実現する。
  論文  参考訳（メタデータ） (2026-06-10T14:17:08Z)
• ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
  低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
  論文  参考訳（メタデータ） (2026-02-07T10:19:36Z)
• LoRA meets Riemannion: Muon Optimizer for Parametrization-independent Low-Rank Adapters [43.04933165005961]
  ローランド適応(LoRA)のための新しいフレームワークを提案する。 LoRAは、固定階多様体上で直接最適化することで、低階アダプタを幾何学的に扱う。 私たちのフレームワークは、これを実現するために3つの重要なコンポーネントを統合しています。
  論文  参考訳（メタデータ） (2025-07-16T11:17:12Z)
• Efficient Optimization with Orthogonality Constraint: a Randomized Riemannian Submanifold Method [10.239769272138995]
  機械学習における課題を解決するための新しい手法を提案する。 ランダムな部分多様体を更新するための2つの戦略を導入する。 我々は、我々のアプローチが様々な問題にどのように一般化されるかを示す。
  論文  参考訳（メタデータ） (2025-05-18T11:46:44Z)
• Preference Optimization for Combinatorial Optimization Problems [54.87466279363487]
  強化学習(Reinforcement Learning, RL)は、ニューラルネットワーク最適化のための強力なツールとして登場した。 大幅な進歩にもかかわらず、既存のRLアプローチは報酬信号の減少や大規模な行動空間における非効率な探索といった課題に直面している。 統計的比較モデルを用いて定量的報酬信号を定性的選好信号に変換する新しい手法であるPreference Optimizationを提案する。
  論文  参考訳（メタデータ） (2025-05-13T16:47:00Z)
• Differential Evolution for Grassmann Manifold Optimization: A Projection Approach [0.0]
  グラスマン多様体 Gr(k,n) 上で定義される実数値目的関数に対する新しい進化的アルゴリズムを提案する。 我々のアプローチは、分解を通してベクトルを多様体に写像する射影を包含する。
  論文  参考訳（メタデータ） (2025-03-27T21:04:19Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。 我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• LoKO: Low-Rank Kalman Optimizer for Online Fine-Tuning of Large Models [21.537382076868436]
  数百万から数十億のパラメータを持つ大規模モデルをスクラッチからトレーニングすると、かなりの計算コストが発生する。 低ランク適応 (LoRA) を用いて, 勾配に基づく特定のタスクに対して, パラメータ数の削減のみを適応させる。 我々は、十分に確立されたコンピュータビジョンと言語モデルでうまく機能する堅牢なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-15T12:41:31Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Pushing the Envelope of Rotation Averaging for Visual SLAM [69.7375052440794]
  視覚SLAMシステムのための新しい最適化バックボーンを提案する。 従来の単分子SLAMシステムの精度, 効率, 堅牢性を向上させるために, 平均化を活用している。 我々のアプローチは、公開ベンチマークの最先端技術に対して、同等の精度で最大10倍高速に表示することができる。
  論文  参考訳（メタデータ） (2020-11-02T18:02:26Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。