Fugu-MT 論文翻訳(概要): Rotated Manifold Optimization for Low-Rank Adaptation

論文の概要: Rotated Manifold Optimization for Low-Rank Adaptation

arxiv url: http://arxiv.org/abs/2609.34264v1
Date: Mon, 28 Sep 2026 04:15:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-03 22:21:04.169321
Title: Rotated Manifold Optimization for Low-Rank Adaptation
Title（参考訳）: 低ランク適応のための回転マニフォールド最適化
Abstract要約: 低ランク化のゲージ対称性を明示的に組み込んだローランク適応法(LoRA)を提案する。我々の回転と正規化は、固定ランク多様体と効率的に統合できる。
参考スコア（独自算出の注目度）: 5.71273254810048
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a novel optimizer for low-rank adaptation (LoRA) that explicitly incorporates the gauge symmetry of low-rank factorization. Our optimizer extends recent matrix optimizers for full-parameter training to the manifold of fixed-rank matrices by interpreting them as normalization under a rotated basis. We show how rotation and normalization can be integrated with the fixed-rank manifold efficiently. Our optimizer converges faster to lower held-out loss and achieves better or comparable downstream performance on both supervised finetuning and reinforcement learning tasks.
Abstract（参考訳）: 低ランク化のゲージ対称性を明示的に組み込んだ新しいローランク適応最適化器(LoRA)を提案する。我々のオプティマイザは、全パラメータトレーニングのための最近の行列オプティマイザを、回転ベースで正規化として解釈することで、固定階行列の多様体に拡張する。回転と正規化を固定ランク多様体に効率的に組み込む方法を示す。我々のオプティマイザは、ホールドアウト損失の低減に早く収束し、教師付き微調整と強化学習の両方において、より優れたあるいは同等のダウンストリーム性能を達成する。

関連論文リスト

A Riemannian Approach to Low-Rank Optimal Transport [10.296598409953278]
低ランク最適輸送(OT)は古典的ソルバの2次スケーリングを緩和するが、既存のアプローチは1次ミラーの更新に大きく依存している。低ランクOTのための統一リーマン幾何学的枠組みを提案し、バランスの取れたランクとアンバランスなランク-$r$正の係数結合をモデル化する。我々の正則化のない1次および2次解法は、既存の最先端の低ランクOT解法よりも高速な収束と優れた性能を実現する。
論文参考訳（メタデータ） (2026-06-10T14:17:08Z)
A Constrained Optimization Perspective of Unrolled Transformers [77.12297732942095]
我々は、最適化降下アルゴリズムのように振る舞う変圧器の訓練のための制約付き最適化フレームワークを導入する。拘束型変圧器は摂動の強靭性を実現し,より高い分布分布一般化を維持する。
論文参考訳（メタデータ） (2026-01-24T02:12:39Z)
Dynamic Low-rank Approximation of Full-Matrix Preconditioner for Training Generalized Linear Models [43.79587815909472]
AdaGramは効率の良い完全行列適応勾配更新である。 AdaGramは、ランク5とより小さいランク近似を使用する場合、より速く収束するか、対角アダプティブのパフォーマンスに適合する。これは、大規模モデルにおける適応最適化のためのスケーラブルなソリューションとしてのAdaGramの可能性を示している。
論文参考訳（メタデータ） (2025-08-28T13:15:05Z)
A Trainable Optimizer [18.195022468462753]
モデルの全勾配推定器とトレーニング可能な重みを共同で訓練する枠組みを提案する。 Pseudo-linear TOは無視可能な計算オーバーヘッドを発生させ、最小限の乗算しか必要としない。実験により、TOメソッドはベンチマークアルゴリズムよりも早く収束することが示された。
論文参考訳（メタデータ） (2025-08-03T14:06:07Z)
LoRA meets Riemannion: Muon Optimizer for Parametrization-independent Low-Rank Adapters [43.04933165005961]
ローランド適応(LoRA)のための新しいフレームワークを提案する。 LoRAは、固定階多様体上で直接最適化することで、低階アダプタを幾何学的に扱う。私たちのフレームワークは、これを実現するために3つの重要なコンポーネントを統合しています。
論文参考訳（メタデータ） (2025-07-16T11:17:12Z)
Optimal Guarantees for Algorithmic Reproducibility and Gradient Complexity in Convex Optimization [55.115992622028685]
以前の研究は、一階法はより良い収束率(漸進収束率)をトレードオフする必要があることを示唆している。最適複雑性と準最適収束保証の両方を、滑らかな凸最小化と滑らかな凸最小化問題に対して達成できることを実証する。
論文参考訳（メタデータ） (2023-10-26T19:56:52Z)
Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
論文参考訳（メタデータ） (2022-10-31T17:59:29Z)
Optimizer Amalgamation [124.33523126363728]
私たちは、Amalgamationという新しい問題の研究を動機付けています。"Teacher"アマルガメーションのプールを、より強力な問題固有のパフォーマンスを持つ単一の"学生"にどのように組み合わせるべきなのでしょうか? まず、勾配降下による解析のプールをアマルガメートする3つの異なるメカニズムを定義する。また, プロセスの分散を低減するため, 目標を摂動させることでプロセスの安定化を図る。
論文参考訳（メタデータ） (2022-03-12T16:07:57Z)
Variance Reduction on Adaptive Stochastic Mirror Descent [23.451652399157002]
分散低減は、ほとんどの適応ミラー降下アルゴリズムのSFO複雑性を減少させ、それらの収束を加速させることを示す。深層学習における実験を用いてクレームの有効性を確認します。
論文参考訳（メタデータ） (2020-12-26T15:15:51Z)
Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
論文参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。