論文の概要: Understanding LoRA Rank Trade-offs in Diffusion Model Fine-Tuning

• arxiv url: http://arxiv.org/abs/2609.10656v1
• Date: Wed, 09 Sep 2026 16:22:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.096537
• Title: Understanding LoRA Rank Trade-offs in Diffusion Model Fine-Tuning
• Title（参考訳）: 拡散モデルファインチューニングにおけるLoRAランクトレードオフの理解
• Abstract要約: DDPM U-Netを2,4,8,16,32ランクとしたCIFAR-10について検討した。 我々は、FID、トレーニング可能なパラメータ、ランタイム、GPUメモリを報告し、拡張予算DDPMの実行によるトレンドを検証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Selecting LoRA rank for diffusion fine-tuning requires balancing quality and compute cost. We present a controlled study on CIFAR-10 using a DDPM U-Net with ranks {2,4,8,16,32}, fixed optimization settings, and a reproducible local-folder pytorch-fid protocol. We report FID, trainable parameters, runtime, and GPU memory, then validate trends with extended-budget DDPM runs (20 epochs; ranks 4/8/16) and a Tiny DiT backbone (10 epochs; ranks 4/8/16). Results show moderate ranks are most efficient: rank 4 achieves the best DDPM FID (124.1380), rank 8 is close (124.2136), and higher ranks provide limited gains despite larger adaptation cost. These findings support small-to-moderate ranks as practical defaults under fixed training budgets.
• Abstract（参考訳）: 拡散微調整のためのLoRAランクの選択には、品質と計算コストのバランスが必要である。 DDPM U-Netの階数 {2,4,8,16,32},固定最適化設定,再現可能な局所展開型pytorch-fidプロトコルを用いて,CIFAR-10の制御を行った。 FID,トレーニング可能なパラメータ,ランタイム,GPUメモリを報告し,拡張予算のDDPM実行(20エポック,4/8/16)とTiny DiTバックボーン(10エポック,4/8/16)でトレンドを検証する。 4位は最高のDDPM FID(124.1380)、8位は近い(124.2136)、より高いランクは適応コストが大きいにもかかわらず限られた利得を提供する。 これらの結果は、固定的なトレーニング予算の下では、実質的なデフォルトとして、小規模からモデレートのランクを支持します。

関連論文リスト

• IFCLoRA: Topology-Aware Rank Allocation for Parameter-Efficient Fine-Tuning [8.041472556779395]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのためのパラメータ効率の高い微調整法である。 IFCLoRAは、微調整前に適用されたトポロジ対応のランクアロケーション手法である。
  論文  参考訳（メタデータ） (2026-07-24T12:34:46Z)
• Parameter-Efficient Fine-Tuning with Learnable Rank [30.391374552207008]
  Low-Rank Adaptation (LoRA)は、低ランクアダプタへの重み付けを制限したPEFT法である。 本稿では, PEFT 法である *Learnable Rank LoRA (LR-LoRA)* を導入する。
  論文  参考訳（メタデータ） (2026-06-03T00:57:36Z)
• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning [45.41768510181293]
  MatryoshkaLoRAは、固定された慎重に作られた対角行列を既存のLoRAアダプタ間で$P$で挿入することで、正確な階層的な低ランク表現を学習する。 以上の結果から,MatryoshkaLoraは従来のランク適応手法よりも,より正確な階層的な低ランク表現を学習できることが示唆された。
  論文  参考訳（メタデータ） (2026-05-08T15:13:01Z)
• One-for-All: A Lightweight Stabilized and Parameter-Efficient Pre-trained LLM for Time Series Forecasting [4.364999214109123]
  One-for-Allは、時系列分析のためにトレーニング済みの大規模言語モデルを適用するためのフレームワークである。 rsLoRAは、低いランクでの証明可能な勾配安定性を可能にする数学的に基底的なランク安定化機構を導入している。 One-for-Allは最先端の効率と精度のトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-03-31T13:54:43Z)
• Taming Momentum: Rethinking Optimizer States Through Low-Rank Approximation [85.89510825889168]
  効率的な事前学習のための新しい低ランクシステムであるLoRA-Preを紹介する。 LoRA-Pre オンライン線形学習器内のコンパクトな低ランク部分空間に運動量行列を分解する。 Llama アーキテクチャファミリーのモデルを事前学習することで,LoRA-Preの有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2026-02-27T18:57:06Z)
• LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules [10.00294036303927]
  標準的なLoRA学習を改善することを目的とした,シンプルで効率的な方法論であるLoRA-Squeezeを紹介する。 我々のアプローチは、制約のある低ランクのソリューションを直接学習するのではなく、まず表現力のある高ランクのソリューションを学習し、次に圧縮する方がよいことを示唆している。
  論文  参考訳（メタデータ） (2026-02-11T16:19:58Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• ReasonRank: Empowering Passage Ranking with Strong Reasoning Ability [83.16850534680505]
  本稿では,自動推論集約型トレーニングデータ合成フレームワークを提案する。 自己整合性データフィルタリング機構は、データ品質を保証するために設計されている。 トレーニングされた推論集約型リランカ textbfReasonRank は,BRIGHT のリーダボード上での最先端 (SOTA) のパフォーマンス40.6 を達成する。
  論文  参考訳（メタデータ） (2025-08-09T17:26:18Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。