論文の概要: EulerLoRA: Rank-Driven Jump Dynamics for Calibrated Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2608.01142v2
• Date: Tue, 04 Aug 2026 11:30:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 13:15:27.422264
• Title: EulerLoRA: Rank-Driven Jump Dynamics for Calibrated Parameter-Efficient Fine-Tuning
• Title（参考訳）: EulerLoRA: Calibrated Parameter-Efficient Fine-Tuningのためのランク駆動ジャンプダイナミクス
• Authors: Srinivas Anumasa, Dianbo Liu,
• Abstract要約: Low-Rank Adaptation (LoRA)はパラメータ効率の良い微調整を可能にするが、標準のLoRAは単一の決定論的モデルを生成する。 EulerLoRAは、共有低ランクアダプタのランク1成分に沿って構造化されたサンプリングによって複数のトラジェクトリを生成する。 EulerLoRAは、強力なLoRA-Ensembleベースラインと比較して、同等または改善されたパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 5.989831419348467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) enables parameter-efficient fine-tuning, but standard LoRA produces a single deterministic model and does not directly support predictive uncertainty estimation. We introduce EulerLoRA, a stochastic extension of LoRA that generates multiple predictive trajectories by sampling structured variations along the rank-one components of shared low-rank adapters, while preserving the deterministic LoRA transformation in expectation. We evaluate EulerLoRA with vision transformers on CIFAR-10, CIFAR-100, and HAM10000, together with out-of-distribution detection on SVHN. Across these benchmarks, EulerLoRA achieves comparable or improved performance relative to strong LoRA-Ensemble baselines. Using two rank-20 adapters, EulerLoRA requires approximately 3 million trainable adapter parameters, compared with about 10 million for a rank-8, 16-adapter LoRA-Ensemble, corresponding to roughly 69% fewer trainable parameters. These results show that useful predictive diversity can be obtained from a small number of shared adapters.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)はパラメータ効率の良い微調整を可能にするが、標準のLoRAは単一の決定論的モデルを生成し、予測の不確実性推定を直接サポートしない。 そこで我々は,LoRA の確率的拡張である EulerLoRA を導入し,低ランクアダプタのランク1成分に沿った構造変化をサンプリングし,予測における決定論的 LoRA 変換を保ちながら,複数の予測軌道を生成する。 CIFAR-10, CIFAR-100, HAM10000 の視覚変換器を用いた EulerLoRA の評価を行い, SVHN の分布外検出を行った。 これらのベンチマーク全体で、EulerLoRAは強力なLoRA-Ensembleベースラインと比較して、同等または改善されたパフォーマンスを実現している。 2つのランク20アダプタを使用すると、EulerLoRAは約300万のトレーニング可能なアダプタパラメータを必要とするが、ランク8、16アダプタのLoRA-Ensembleでは約1000万のトレーニング可能なパラメータが約69%少ない。 これらの結果から,少数の共用アダプタから有用な予測多様性が得られることがわかった。

関連論文リスト

• Balanced LoRA: Removing Parameter Invariance to Accelerate Convergence [30.96331195818476]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルを微調整するための最も広く採用されている手法である。 バランス付き多様体に反復を射影するLoRAの変種BaLoRAを導入する。 BaLoRAは標準のLoRAよりも早く収束し、様々な微調整タスクで優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-29T16:08:28Z)
• HELLoRA: Hot Experts Layer-Level Low-Rank Adaptation for Mixture-of-Experts Models [11.336343540603616]
  Low-Rank Adaptation (LoRA) は、大きな言語モデルのパラメータ効率の良い微調整を支配している。 本稿では,HELLoRA(Hot-Experts Layer-level Low-Rank Adaptation)を提案する。 HELLoRAはLoRAモジュールを各層の最も頻繁に活性化される専門家にのみアタッチする。
  論文  参考訳（メタデータ） (2026-05-11T06:43:14Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• ARD-LoRA: Dynamic Rank Allocation for Parameter-Efficient Fine-Tuning of Foundation Models with Heterogeneous Adaptation Needs [0.46040036610482665]
  本稿では,学習可能なスケーリング因子によるランク割り当てを自動化する新しいフレームワークであるAdaptive Rank Dynamic LoRA(ARD-LoRA)を紹介する。 ARD-LoRAは、連続的で、差別化可能な、ヘッドランクごとの適応を可能にする。 LLAMA-3.1-70BとPaliGemma-2の実験ではARD-LoRAの有効性が示され、トレーニング可能なパラメータは0.32%しかなかった。
  論文  参考訳（メタデータ） (2025-06-23T03:45:37Z)
• DenseLoRA: Dense Low-Rank Adaptation of Large Language Models [14.133511131962786]
  低ランク適応 (LoRA) は大規模言語モデル (LLM) に適応するための効率的なアプローチとして開発されている。 パラメータ効率を高めつつ,LoRAよりも優れた性能を実現する新しい手法であるDense Low-Rank Adaptation (DenseLoRA)を導入する。 我々はDenseLoRAを様々なベンチマークで評価し、LLaMA3-8B上のトレーニング可能なパラメータの0.70%とLoRAの80.8%の精度と比較して、トレーニング可能なパラメータの0.01%で83.8%の精度を達成することを示した。
  論文  参考訳（メタデータ） (2025-05-27T08:19:07Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• Unlocking the Global Synergies in Low-Rank Adapters [20.32980343066711]
  低ランク適応(LoRA)は、大規模言語モデルのためのデファクトパラメータ効率の高い微調整技術である。 本稿では、ゼロコストプロキシを利用して限られたLoRAトレーニングパラメータを割り当てる軽量探索アルゴリズムであるHeteroLoRAを提案する。 実験の結果、HeteroLoRAは同じパラメータのバッジでモデルパフォーマンスを改善することができることがわかった。
  論文  参考訳（メタデータ） (2024-06-21T08:10:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。