論文の概要: Not All Layers Are Created Equal: Adaptive LoRA Ranks for Personalized Image Generation

• arxiv url: http://arxiv.org/abs/2603.21884v1
• Date: Mon, 23 Mar 2026 12:13:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.658385
• Title: Not All Layers Are Created Equal: Adaptive LoRA Ranks for Personalized Image Generation
• Title（参考訳）: すべてのレイヤーが等しく作られているわけではない:パーソナライズされた画像生成のための適応的なLoRAランク
• Authors: Donald Shenaj, Federico Errica, Antonio Carta,
• Abstract要約: 低ランク適応(LoRA)は、事前訓練された拡散モデルからパーソナライズされた画像を生成するための事実上の微調整戦略である。 この課題を克服するための第一歩として、各レイヤのランクを、被検体の微調整中に自由に適応させることがあります。 我々は、位階に重んじる秩序を課し、効果的に上位の位階を創出することを奨励することで達成する。
• 参考スコア（独自算出の注目度）: 11.597362346903076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low Rank Adaptation (LoRA) is the de facto fine-tuning strategy to generate personalized images from pre-trained diffusion models. Choosing a good rank is extremely critical, since it trades off performance and memory consumption, but today the decision is often left to the community's consensus, regardless of the personalized subject's complexity. The reason is evident: the cost of selecting a good rank for each LoRA component is combinatorial, so we opt for practical shortcuts such as fixing the same rank for all components. In this paper, we take a first step to overcome this challenge. Inspired by variational methods that learn an adaptive width of neural networks, we let the ranks of each layer freely adapt during fine-tuning on a subject. We achieve it by imposing an ordering of importance on the rank's positions, effectively encouraging the creation of higher ranks when strictly needed. Qualitatively and quantitatively, our approach, LoRA$^2$, achieves a competitive trade-off between DINO, CLIP-I, and CLIP-T across 29 subjects while requiring much less memory and lower rank than high rank LoRA versions. Code: https://github.com/donaldssh/NotAllLayersAreCreatedEqual.
• Abstract（参考訳）: 低ランク適応(LoRA)は、事前訓練された拡散モデルからパーソナライズされた画像を生成するための事実上の微調整戦略である。 パフォーマンスとメモリ消費のトレードオフがあるため、適切なランクを選ぶことは極めて重要であるが、今日ではパーソナライズされた被験者の複雑さに関係なく、コミュニティの合意に委ねられていることが多い。 その理由は明らかである: 各LoRAコンポーネントに対して適切なランクを選択するコストは組合せ的であるので、すべてのコンポーネントに対して同じランクを固定するなどの実用的なショートカットを選択する。 本稿では,この課題を克服する第一歩を踏み出す。 ニューラルネットワークの適応幅を学習する変分法に着想を得て,被験者の微調整中に各階層のランクを自由に適応させる。 我々は、位階に重用する命令を課し、厳格に必要であれば、事実上上位の位階を創出することを奨励することで達成する。 定性的かつ定量的に,DINO,CLIP-I,CLIP-T間の競合トレードオフを実現し,高階LoRAよりはるかに少ないメモリと低ランクを必要とする。 コード:https://github.com/donaldssh/NotAllLayersAreCreatedEqual。

関連論文リスト

• LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules [10.00294036303927]
  標準的なLoRA学習を改善することを目的とした,シンプルで効率的な方法論であるLoRA-Squeezeを紹介する。 我々のアプローチは、制約のある低ランクのソリューションを直接学習するのではなく、まず表現力のある高ランクのソリューションを学習し、次に圧縮する方がよいことを示唆している。
  論文  参考訳（メタデータ） (2026-02-11T16:19:58Z)
• Learning Rate Matters: Vanilla LoRA May Suffice for LLM Fine-tuning [48.66442009036754]
  Low-Rank Adaptation (LoRA)は、効率的な大規模言語モデルの微調整のための一般的なアプローチである。 本研究では,バニラ・ロラとともに4つの代表的ロラ変種を再評価する。 異なるLoRA手法が学習率の異なる範囲を好んでいることが判明した。
  論文  参考訳（メタデータ） (2026-02-04T19:36:20Z)
• RaSA: Rank-Sharing Low-Rank Adaptation [67.40422142257091]
  低ランク適応(LoRA)は大規模言語モデル(LLM)のパラメータ効率の高い微調整に顕著に用いられている。 階層間の部分的なランク共有を活用することで,LoRAの表現能力を高める革新的な拡張であるRan-Sharing Low-Rank Adaptation (RaSA)を導入する。 我々の理論的根拠と実証的なアプローチは、RaSAがLoRAの中核的な利点を維持しているだけでなく、挑戦的なコードや数学タスクのパフォーマンスを大幅に向上していることを示している。
  論文  参考訳（メタデータ） (2025-03-16T17:16:36Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning [31.975038164401404]
  低ランク適応 (LoRA) 低ランクインクリメンタル更新行列は、凍結事前訓練された重量の上に置かれる。 本稿では,各LoRA層の最適ランクを自動的に識別するフレームワークであるAutoLoRAを紹介する。 自然言語理解,生成,シーケンスラベリングに関する実験により,AutoLoRAの有効性が示された。
  論文  参考訳（メタデータ） (2024-03-14T05:29:35Z)
• ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
  低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。 提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-02-28T04:33:20Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• A Rank Stabilization Scaling Factor for Fine-Tuning with LoRA [0.7252027234425334]
  PEFTの一般的な手法はLoRA(Lo-Rank Adapters)であり、選択した層にトレーニング可能な低ランクの"アダプタ"を追加する。 このスケーリング係数は、アダプタをランクの要素で分割するので、ローラの学習が遅くなり、上位のアダプタでスタントのパフォーマンスが低下する。 我々はLoRAを適切なスケーリング係数で修正し、微調整の計算/性能トレードオフを容易に提供します。
  論文  参考訳（メタデータ） (2023-11-28T03:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。