Fugu-MT 論文翻訳(概要): Multi-LoRA Composition for Image Generation

論文の概要: Multi-LoRA Composition for Image Generation

arxiv url: http://arxiv.org/abs/2402.16843v1
Date: Mon, 26 Feb 2024 18:59:18 GMT
ステータス: 翻訳完了
システム内更新日: 2024-02-28 19:19:59.244023
Title: Multi-LoRA Composition for Image Generation
Title（参考訳）: 画像生成のためのマルチロラ合成
Authors: Ming Zhong, Yelong Shen, Shuohang Wang, Yadong Lu, Yizhu Jiao, Siru Ouyang, Donghan Yu, Jiawei Han, Weizhu Chen
Abstract要約: 復号化中心の観点から,マルチロラ合成について検討する。我々は,各聴覚ステップで異なるLoRAを交互に切り替えるLoRA Switchと,より密着的な画像合成を導くためにすべてのLoRAを同時に組み込むLoRA Compositeの2つのトレーニングフリー手法を提案する。
参考スコア（独自算出の注目度）: 111.88506763476249
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Low-Rank Adaptation (LoRA) is extensively utilized in text-to-image models for the accurate rendition of specific elements like distinct characters or unique styles in generated images. Nonetheless, existing methods face challenges in effectively composing multiple LoRAs, especially as the number of LoRAs to be integrated grows, thus hindering the creation of complex imagery. In this paper, we study multi-LoRA composition through a decoding-centric perspective. We present two training-free methods: LoRA Switch, which alternates between different LoRAs at each denoising step, and LoRA Composite, which simultaneously incorporates all LoRAs to guide more cohesive image synthesis. To evaluate the proposed approaches, we establish ComposLoRA, a new comprehensive testbed as part of this research. It features a diverse range of LoRA categories with 480 composition sets. Utilizing an evaluation framework based on GPT-4V, our findings demonstrate a clear improvement in performance with our methods over the prevalent baseline, particularly evident when increasing the number of LoRAs in a composition.
Abstract（参考訳）: Low-Rank Adaptation (LoRA) はテキスト・ツー・イメージ・モデルにおいて、異なる文字や生成された画像のユニークなスタイルのような特定の要素の正確な再描画に広く利用されている。にもかかわらず、既存の手法は複数のLoRAを効果的に構成する上で、特に統合するLoRAの数が増え、複雑な画像の作成を妨げているため、課題に直面している。本稿では,デコード中心の観点からマルチロラ合成について検討する。我々は,各聴覚ステップで異なるLoRAを交互に切り替えるLoRA Switchと,より密着的な画像合成を導くためにすべてのLoRAを同時に組み込むLoRA Compositeの2つのトレーニングフリー手法を提案する。提案手法を評価するため,本研究の一環として,新しい総合的なテストベッドであるComposeLoRAを構築した。 480の合成セットを持つ多様なLoRAカテゴリが特徴である。 gpt-4vに基づく評価フレームワークを用いて,本手法のベースラインよりも性能が明らかに向上し,特に構成中のロラス数の増加が顕著であることを示す。

関連論文リスト

BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文参考訳（メタデータ） (2025-02-19T10:33:22Z)
Cached Multi-Lora Composition for Multi-Concept Image Generation [10.433033595844442]
Low-Rank Adaptation (LoRA) はテキスト・ツー・イメージ・モデルにおいて広く採用されている手法である。現在のアプローチでは、マルチコンセプト画像生成のためにこれらのLoRAを構成する際に大きな課題に直面している。我々は,複数のLoRAを効率的に統合するために設計された,新しいトレーニングフリーフレームワークであるCached Multi-LoRA(CMLoRA)を紹介した。
論文参考訳（メタデータ） (2025-02-07T13:41:51Z)
Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.98941571078398]
Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
論文参考訳（メタデータ） (2025-01-25T06:56:39Z)
UnZipLoRA: Separating Content and Style from a Single Image [16.61595725708187]
UnZipLoRAは、イメージを構成対象とスタイルに分解する方法である。 UnZipLoRAは、両方のLoRAを同時にトレーニングすることで、これらの要素を単一のイメージから切り離す。
論文参考訳（メタデータ） (2024-12-05T18:59:50Z)
Merging LoRAs like Playing LEGO: Pushing the Modularity of LoRA to Extremes Through Rank-Wise Clustering [35.54018186415654]
Low-Rank Adaptation (LoRA) は、様々なドメインに最適化された大規模言語モデル(LLM)の一般的なテクニックとして登場した。 LoRA合成の既存の方法は、主に追加の訓練を必要とするタスク固有の適応に焦点を当てている。本稿では,LoRAにおける各ランクに対応するパラメータが独立単位として機能する最小意味単位(MSU)の概念を紹介する。我々は、異なるLoRAから$k$のクラスタにMSUをグループ化することで、ランクワイズパラメータクラスタリングを行うLoRA-LEGOフレームワークを提案する。
論文参考訳（メタデータ） (2024-09-24T15:08:41Z)
Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-24T05:24:41Z)
Compress then Serve: Serving Thousands of LoRA Adapters with Little Overhead [41.31302904190149]
低ランク適応(LoRA)を用いた微調整型大規模言語モデルが一般的となっている。本稿では,LoRA固有のスケーリング行列と組み合わせた共有ベースにLoRAを共同圧縮する手法を提案する。最大500台のLoRAによる実験では、圧縮されたLoRAは大きなスループット向上を提供しながら性能を保っていることが示されている。
論文参考訳（メタデータ） (2024-06-17T15:21:35Z)
Mixture of LoRA Experts [87.50120181861362]
本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
論文参考訳（メタデータ） (2024-04-21T11:59:53Z)
CLoRA: A Contrastive Approach to Compose Multiple LoRA Models [44.037664077117945]
Low-Rank Adaptations (LoRA) は画像生成の分野で強力で一般的な技術として登場した。 CLoRAは、複数の概念をシームレスにブレンドして、さまざまな概念を1つのイメージでキャプチャする問題に対処する。本手法は,LoRAの特性を反映した合成画像の作成を可能にする。
論文参考訳（メタデータ） (2024-03-28T18:58:43Z)
Implicit Style-Content Separation using B-LoRA [61.664293840163865]
一つの画像のスタイルとコンテンツコンポーネントを暗黙的に分離する手法であるB-LoRAを紹介する。 SDXLのアーキテクチャをLoRAと組み合わせて解析することにより、2つのブロックのLoRA重みを共同で学習することで、スタイル・コンテント分離を実現する。
論文参考訳（メタデータ） (2024-03-21T17:20:21Z)
LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks [72.88244322513039]
LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。 6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
論文参考訳（メタデータ） (2024-02-18T04:41:25Z)
LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
論文参考訳（メタデータ） (2024-02-15T15:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。