論文の概要: ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations

• arxiv url: http://arxiv.org/abs/2602.07479v1
• Date: Sat, 07 Feb 2026 10:19:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.645118
• Title: ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations
• Title（参考訳）: ODELoRA: 正規微分方程式の解法による低ランク適応の訓練
• Authors: Yihang Gao, Vincent Y. F. Tan,
• Abstract要約: 低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
• 参考スコア（独自算出の注目度）: 54.886931928255564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank adaptation (LoRA) has emerged as a widely adopted parameter-efficient fine-tuning method in deep transfer learning, due to its reduced number of trainable parameters and lower memory requirements enabled by Burer-Monteiro factorization on adaptation matrices. However, classical LoRA training methods treat the low-rank factor matrices individually and optimize them using standard gradient-based algorithms. Such decoupled optimization schemes are theoretically and empirically suboptimal, as they fail to fully exploit the intrinsic structure of the LoRA parameterization. In this work, we propose a novel continuous-time optimization dynamic for LoRA factor matrices in the form of an ordinary differential equation (ODE) that emulates the gradient flow of full fine-tuning on the balanced manifold. We term this approach ODELoRA. To faithfully track the trajectories of ODELoRA, we adopt well-established and theoretically grounded time-discretization schemes, including Euler and Runge--Kutta methods. Our framework provides a unified ODE-based perspective for understanding and designing LoRA training algorithms. We establish linear convergence of the proposed method under strongly convex objectives for certain discretization schemes under mild conditions, and further extend our analysis to the matrix sensing setting. Moreover, we show that ODELoRA achieves stable feature learning, a property that is crucial for training deep neural networks at different scales of problem dimensionality. Empirical results on matrix sensing tasks confirm the derived linear convergence behavior, and experiments on training physics-informed neural networks further demonstrate the superiority of ODELoRA over existing baselines, especially in the training stability.
• Abstract（参考訳）: 低ランク適応(LoRA)は、トレーニング可能なパラメータの減少と、適応行列上のBurer-Monteiro因子化によって実現されるメモリ要件の低さから、ディープラーニングにおいてパラメータ効率のよい微調整法として広く採用されている。 しかし、古典的なLoRAトレーニング手法は、低ランク係数行列を個別に扱い、標準勾配に基づくアルゴリズムを用いてそれらを最適化する。 このような分離された最適化スキームは、ロラパラメータ化の本質的な構造を完全に活用できないため、理論的および経験的に準最適である。 本研究では, 正規微分方程式 (ODE) の形で, バランスの取れた多様体上でのフル微調整の勾配流をエミュレートする新しい連続時間最適化力学を提案する。 このアプローチをODELoRAと呼ぶ。 ODELoRAの軌跡を忠実に追跡するために、オイラー法やルンゲ-クッタ法など、よく確立され理論的に基礎付けられた時間分散スキームを採用する。 我々のフレームワークは、LoRAトレーニングアルゴリズムを理解し設計するためのODEベースの統一的な視点を提供する。 提案手法の線形収束性は, 弱い条件下での特定の離散化スキームに対して, 強い凸目標の下で確立し, さらに解析を行列センシング設定まで拡張する。 さらに、ODELoRAは、問題次元の異なるスケールでのディープニューラルネットワークのトレーニングに不可欠な特性である、安定した特徴学習を実現することを示す。 行列センシングタスクの実験的結果は、導出した線形収束挙動を確認し、物理情報ニューラルネットワークのトレーニング実験は、既存のベースライン、特にトレーニング安定性よりもODELoRAの方が優れていることをさらに示している。

関連論文リスト

• LoRA-DA: Data-Aware Initialization for Low-Rank Adaptation via Asymptotic Analysis [33.708800231646606]
  データ認識型LoRAの理論的枠組みを確立した。 そこで我々は,目標領域の少数のサンプルから最適化問題の項を推定するアルゴリズムLoRA-DAを開発した。 さらなる研究により、より速く、より安定な収束、ランク間の堅牢性、LoRA-DAのオーバーヘッドはわずかである。
  論文  参考訳（メタデータ） (2025-10-28T15:55:36Z)
• Deep Equilibrium models for Poisson Imaging Inverse problems via Mirror Descent [7.248102801711294]
  ディープ平衡モデル(Deep Equilibrium Models、DEQ)は、固定点を持つ暗黙のニューラルネットワークである。 我々は、非ユークリッド幾何学の仕方で定義されるミラー・ディクセントに基づく新しいDEC式を導入する。 本稿では,効率的なトレーニングと完全パラメータフリー推論が可能な計算戦略を提案する。
  論文  参考訳（メタデータ） (2025-07-15T16:33:01Z)
• Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
  SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。 提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
  論文  参考訳（メタデータ） (2025-07-02T15:56:40Z)
• DiffoRA: Enabling Parameter-Efficient Fine-Tuning via Differential Module Selection [32.369133126167085]
  Low-Rank Adaptation (LoRA) は、既存のトレーニング済みモデルに低ランク行列を組み込むことで、その合理化設計で人気を博している。 本稿では,低ランク分解行列を適応的に適用可能なDiffoRAを提案する。
  論文  参考訳（メタデータ） (2025-02-13T02:41:34Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。 我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Conformal Symplectic Optimization for Stable Reinforcement Learning [21.491621524500736]
  相対論的運動エネルギーを利用することで、RADは特殊相対性理論と制限パラメータの更新を有限速以下に取り入れ、異常な影響を効果的に緩和する。 特にRADは155.1%のパフォーマンス向上を実現しており、アタリゲームのトレーニングにおける有効性を示している。
  論文  参考訳（メタデータ） (2024-12-03T09:07:31Z)
• Pushing the Envelope of Rotation Averaging for Visual SLAM [69.7375052440794]
  視覚SLAMシステムのための新しい最適化バックボーンを提案する。 従来の単分子SLAMシステムの精度, 効率, 堅牢性を向上させるために, 平均化を活用している。 我々のアプローチは、公開ベンチマークの最先端技術に対して、同等の精度で最大10倍高速に表示することができる。
  論文  参考訳（メタデータ） (2020-11-02T18:02:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。