論文の概要: CollectionLoRA: Collecting 50 Effects in 1 LoRA via Multi-Teacher On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2605.25378v2
• Date: Wed, 27 May 2026 03:52:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:54.984328
• Title: CollectionLoRA: Collecting 50 Effects in 1 LoRA via Multi-Teacher On-Policy Distillation
• Title（参考訳）: CollectionLoRA: マルチTeacher on-Policy蒸留による1 LoRAの50効果収集
• Authors: Fangtai Wu, Hailong Guo, Shijie Huang, Jiayi Song, Yubo Huang, Mushui Liu, Zhao Wang, Yunlong Yu, Jiaming Liu, Ruihua Huang,
• Abstract要約: CollectionLoRAは、エフェクトと数ステップ生成を単一のLoRAに蒸留するフレームワークである。 独立して訓練された教師モデルに匹敵する、あるいは優れた概念の忠実性を達成しながら、デプロイメントのオーバーヘッドを低減する。
• 参考スコア（独自算出の注目度）: 24.705092676391477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Customized image editing aims to equip pre-trained diffusion models with specific visual effects using limited paired data, typically via Low-Rank Adaptation (LoRA). As the number of desired effects grows, storing and dynamically loading numerous these effect LoRAs significantly increases deployment overhead. Furthermore, current pipelines typically cascade these effect LoRAs with acceleration modules for fast generation, which triggers severe parameter interference and results in concept bleeding and style degradation. We propose CollectionLoRA, a multi-teacher on-policy distillation framework capable of distilling the concepts of up to 50 different effect LoRAs along with few-step generation capabilities into a single LoRA. This fundamentally resolves the feature interference issue and significantly reduces deployment costs. Specifically, the method introduces (i) a Probabilistic Dual-Stream Routing mechanism that enables the model to randomly switch between data sources during training, effectively enhancing its generalization in unseen scenarios; (ii) an Asymmetric Orthogonal Prompting strategy to achieve concept isolation within the prompt space; (iii) a Coarse-to-Fine Distillation Objective to mitigate the distribution gap between the teacher and student models. Extensive evaluations show that CollectionLoRA distills all customized effects and few-step generation into a single LoRA, reducing deployment overhead while achieving concept fidelity comparable to or better than independently trained teacher models. Code: https://github.com/Qwen-Applications/CollectionLoRA
• Abstract（参考訳）: カスタマイズされた画像編集は、通常LoRA(Lo-Rank Adaptation)を介して、限られたペアデータを使用して、特定の視覚効果を持つ事前訓練された拡散モデルを装備することを目的としている。 望ましいエフェクトの数が増えるにつれて、これらのエフェクトを保存および動的にロードすることで、デプロイメントのオーバーヘッドが大幅に増加する。 さらに、現在のパイプラインは一般的にこれらの効果をLoRAに分解し、加速モジュールを高速に生成し、厳しいパラメータ干渉を引き起こし、概念的出血とスタイル劣化を引き起こす。 最大50の異なる効果を持つロラの概念を蒸留し,数段階の発電能力を1つのロラに組み込むことが可能な多教師オンライン蒸留フレームワークであるコレクションロラを提案する。 これにより、機能の干渉が根本的に解決され、デプロイメントコストが大幅に削減される。 具体的には、その方法を紹介します。 (i)訓練中のデータソースをランダムに切り替える確率的デュアルストリームルーティング機構で、目に見えないシナリオにおけるその一般化を効果的に強化する。 (ii) 即時空間内で概念分離を達成するための非対称直交プロンプト戦略 (三)教師モデルと学生モデルとの分配ギャップを軽減するための粗口蒸留対象物。 CollectionLoRAは、すべてのカスタマイズされたエフェクトと数ステップ生成を単一のLoRAに蒸留し、デプロイメントのオーバーヘッドを低減し、独立したトレーニングされた教師モデルに匹敵するコンセプト忠実性を達成している。 コード:https://github.com/Qwen-Applications/CollectionLoRA

関連論文リスト

• LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules [10.00294036303927]
  標準的なLoRA学習を改善することを目的とした,シンプルで効率的な方法論であるLoRA-Squeezeを紹介する。 我々のアプローチは、制約のある低ランクのソリューションを直接学習するのではなく、まず表現力のある高ランクのソリューションを学習し、次に圧縮する方がよいことを示唆している。
  論文  参考訳（メタデータ） (2026-02-11T16:19:58Z)
• LoRAtorio: An intrinsic approach to LoRA Skill Composition [11.429106388558925]
  Low-Rank Adaptation (LoRA) はテキスト・画像拡散モデルにおいて広く採用されている手法である。 既存のアプローチでは、複数のLoRAアダプタを効果的に構成するのに苦労している。 ロラトリオ(Loratorio)は、マルチロラ合成のための新しいフリートレインフレームワークである。
  論文  参考訳（メタデータ） (2025-08-15T17:52:56Z)
• A Stronger Mixture of Low-Rank Experts for Fine-Tuning Foundation Models [22.457766373989365]
  Low-Rank Adapters (LoRA) は、命令チューニングやドメイン適応など、様々な分野に広く採用されている。 LoRAの限られた表現能力に対処するため、複数のLoRAアダプタを組み込むためのMixture-of-Expert (MoE)が導入されている。 マルチスペースプロジェクションによる特徴学習手順の安定化と向上を図るため,MoE-LoRAの新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2025-02-20T05:58:53Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• LoRA-IR: Taming Low-Rank Experts for Efficient All-in-One Image Restoration [62.3751291442432]
  高速なオールインワン画像復元を実現するために,コンパクトな低ランクの専門家を動的に活用する,フレキシブルなフレームワークであるLoRA-IRを提案する。 LoRA-IRは、劣化誘導前訓練とパラメータ効率の良い微調整の2つの訓練段階で構成されている。 実験により、LoRA-IRは計算効率を維持しつつ、14のIRタスクと29のベンチマークでSOTA性能を達成することが示された。
  論文  参考訳（メタデータ） (2024-10-20T13:00:24Z)
• Mixture of LoRA Experts [87.50120181861362]
  本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T11:59:53Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。