論文の概要: Subject or Style: Adaptive and Training-Free Mixture of LoRAs
- arxiv url: http://arxiv.org/abs/2508.02165v1
- Date: Mon, 04 Aug 2025 08:05:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-05 18:25:22.241519
- Title: Subject or Style: Adaptive and Training-Free Mixture of LoRAs
- Title（参考訳）: 主題・スタイル:LoRAの適応的・非学習的混合
- Authors: Jia-Chen Zhang, Yu-Jie Xiong,
- Abstract要約: EST-LoRAは、トレーニングレス適応型LoRA融合法である。
行列のアンダーラインエナジー、アンダーラインスタイルの離散性スコア、アンダーラインタイムステップの3つの重要な要素について考察する。
定性評価と定量的評価の両方において最先端の手法より優れている。
- 参考スコア（独自算出の注目度）: 3.8443430569753025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-tuning models via Low-Rank Adaptation (LoRA) demonstrates remarkable performance in subject-driven or style-driven generation tasks. Studies have explored combinations of different LoRAs to jointly generate learned styles and content. However, current methods struggle to balance the original subject and style, and often require additional training. Recently, K-LoRA proposed a training-free LoRA fusion method. But it involves multiple hyperparameters, making it difficult to adapt to all styles and subjects. In this paper, we propose EST-LoRA, a training-free adaptive LoRA fusion method. It comprehensively considers three critical factors: \underline{E}nergy of matrix, \underline{S}tyle discrepancy scores and \underline{T}ime steps. Analogous to the Mixture of Experts (MoE) architecture, the model adaptively selects between subject LoRA and style LoRA within each attention layer. This integrated selection mechanism ensures balanced contributions from both components during the generation process. Experimental results show that EST-LoRA outperforms state-of-the-art methods in both qualitative and quantitative evaluations and achieves faster generation speed compared to other efficient fusion approaches. Our code is publicly available at: https://anonymous.4open.science/r/EST-LoRA-F318.
- Abstract（参考訳）: Low-Rank Adaptation (LoRA)による微調整モデルは、主観的あるいはスタイル駆動的な生成タスクにおいて顕著なパフォーマンスを示す。
異なるLoRAを組み合わせて学習スタイルと内容を共同で生成する方法が研究されている。
しかし、現在の手法は、元の主題とスタイルのバランスをとるのに苦労し、しばしば追加の訓練を必要とする。
近年、K-LoRAは無訓練のLoRA融合法を提案した。
しかし、複数のハイパーパラメータが伴うため、すべてのスタイルや主題に適応することが難しくなる。
本稿では,学習不要なLoRA融合法であるEST-LoRAを提案する。
これは3つの重要な因子を包括的に考慮し、行列の \underline{E}nergy, \underline{S}tyle discrepancy scores と \underline{T}ime steps である。
Mixture of Experts (MoE)アーキテクチャに類似するこのモデルは、各注目層内の主題のLoRAとスタイルのLoRAを適応的に選択する。
この統合選択メカニズムは、生成プロセス中に両方のコンポーネントからのバランスの取れたコントリビューションを保証する。
実験の結果,EST-LoRAは定性評価と定量的評価の両方において最先端の手法より優れており,他の効率的な融合手法と比較して高速な生成速度が得られることがわかった。
私たちのコードは、https://anonymous.4open.science/r/EST-LoRA-F318で公開されています。
関連論文リスト
- K-LoRA: Unlocking Training-Free Fusion of Any Subject and Style LoRAs [25.998945090549874]
我々は,LoRAの本質的な性質は,学習対象とスタイルの融合における拡散モデルを効果的に導くことができると論じる。
各注目層において、K-LoRAは各LoRAのTop-K要素を融合させ、どのLoRAを最適な融合に選択するかを決定する。
実験結果から,提案手法は元のLoRAが学習した主題とスタイル情報を効果的に統合することを示した。
論文 参考訳（メタデータ） (2025-02-25T18:59:12Z) - A Stronger Mixture of Low-Rank Experts for Fine-Tuning Foundation Models [22.457766373989365]
Low-Rank Adapters (LoRA) は、命令チューニングやドメイン適応など、様々な分野に広く採用されている。
LoRAの限られた表現能力に対処するため、複数のLoRAアダプタを組み込むためのMixture-of-Expert (MoE)が導入されている。
マルチスペースプロジェクションによる特徴学習手順の安定化と向上を図るため,MoE-LoRAの新たなトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2025-02-20T05:58:53Z) - BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。
本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文 参考訳（メタデータ） (2025-02-19T10:33:22Z) - Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.053604713064544]
Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。
最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。
効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。
各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
論文 参考訳（メタデータ） (2025-01-25T06:56:39Z) - CopRA: A Progressive LoRA Training Strategy [9.847045610578073]
Low-Rank Adaptation (LoRA) は、微調整基礎モデルのためのパラメータ効率のよい手法である。
本研究では,ランダム層降下を伴うLoRAの新しいプログレッシブトレーニング戦略を提案する。
本手法を協調ロラ(CopRA)と呼ぶ。
論文 参考訳（メタデータ） (2024-10-30T11:07:09Z) - AlphaLoRA: Assigning LoRA Experts Based on Layer Training Quality [31.830108790753172]
Low-Rank Adaptation (LoRA)は、Large Language Models (LLM)におけるトレーニング効率を向上させることで知られている。
近年の研究では、LoRAとMixture-of-Experts(MoE)を組み合わせることで、さまざまなタスクのパフォーマンス向上を目指している。
AlphaLoRAは理論上は原則的かつトレーニング不要な手法で、LoRAの専門家をさらなる冗長性に割り当てる。
論文 参考訳（メタデータ） (2024-10-14T00:43:02Z) - Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。
LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。
本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T18:51:53Z) - Mixture of LoRA Experts [87.50120181861362]
本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。
MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
論文 参考訳（メタデータ） (2024-04-21T11:59:53Z) - Multi-LoRA Composition for Image Generation [107.83002438126832]
復号化中心の観点から,マルチロラ合成について検討する。
我々は,各聴覚ステップで異なるLoRAを交互に切り替えるLoRA Switchと,より密着的な画像合成を導くためにすべてのLoRAを同時に組み込むLoRA Compositeの2つのトレーニングフリー手法を提案する。
論文 参考訳（メタデータ） (2024-02-26T18:59:18Z) - ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs [56.85106417530364]
低ランク適応(LoRA)は概念駆動型パーソナライゼーションを実現するためのパラメータ効率のよい方法として提案されている。
我々は、独立に訓練されたスタイルと主題のLoRAを安価かつ効果的にマージするZipLoRAを提案する。
実験により、ZipLoRAは主観とスタイルの忠実さのベースラインよりも有意義な改善を施した魅力的な結果が得られることが示された。
論文 参考訳（メタデータ） (2023-11-22T18:59:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。