Fugu-MT 論文翻訳(概要): LoRAtorio: An intrinsic approach to LoRA Skill Composition

論文の概要: LoRAtorio: An intrinsic approach to LoRA Skill Composition

arxiv url: http://arxiv.org/abs/2508.11624v1
Date: Fri, 15 Aug 2025 17:52:56 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-18 14:51:24.169073
Title: LoRAtorio: An intrinsic approach to LoRA Skill Composition
Title（参考訳）: Loratorio: LoRAスキル構成の本質的なアプローチ
Authors: Niki Foteinopoulou, Ignas Budvytis, Stephan Liwicki,
Abstract要約: Low-Rank Adaptation (LoRA) はテキスト・画像拡散モデルにおいて広く採用されている手法である。既存のアプローチでは、複数のLoRAアダプタを効果的に構成するのに苦労している。ロラトリオ(Loratorio)は、マルチロラ合成のための新しいフリートレインフレームワークである。
参考スコア（独自算出の注目度）: 11.429106388558925
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Low-Rank Adaptation (LoRA) has become a widely adopted technique in text-to-image diffusion models, enabling the personalisation of visual concepts such as characters, styles, and objects. However, existing approaches struggle to effectively compose multiple LoRA adapters, particularly in open-ended settings where the number and nature of required skills are not known in advance. In this work, we present LoRAtorio, a novel train-free framework for multi-LoRA composition that leverages intrinsic model behaviour. Our method is motivated by two key observations: (1) LoRA adapters trained on narrow domains produce denoised outputs that diverge from the base model, and (2) when operating out-of-distribution, LoRA outputs show behaviour closer to the base model than when conditioned in distribution. The balance between these two observations allows for exceptional performance in the single LoRA scenario, which nevertheless deteriorates when multiple LoRAs are loaded. Our method operates in the latent space by dividing it into spatial patches and computing cosine similarity between each patch's predicted noise and that of the base model. These similarities are used to construct a spatially-aware weight matrix, which guides a weighted aggregation of LoRA outputs. To address domain drift, we further propose a modification to classifier-free guidance that incorporates the base model's unconditional score into the composition. We extend this formulation to a dynamic module selection setting, enabling inference-time selection of relevant LoRA adapters from a large pool. LoRAtorio achieves state-of-the-art performance, showing up to a 1.3% improvement in ClipScore and a 72.43% win rate in GPT-4V pairwise evaluations, and generalises effectively to multiple latent diffusion models.
Abstract（参考訳）: ローランド適応(LoRA)は、文字やスタイル、オブジェクトといった視覚概念のパーソナライズを可能にする、テキストから画像への拡散モデルにおいて広く採用されているテクニックである。しかし、既存のアプローチでは、特に必要なスキルの数や性質が事前に分かっていないオープンエンド環境で、複数のLoRAアダプタを効果的に構成することに苦労している。本研究は,本質的なモデル挙動を生かしたマルチロラ合成のための新しいトレインフリーフレームワークであるロラトリオについて述べる。提案手法は,(1)狭い領域で訓練されたLoRAアダプタは,ベースモデルから分岐する分極出力を生成し,(2)アウト・オブ・ディストリビューションを行うと,分布に条件付けされた場合よりもベースモデルに近い動作を示す。これらの2つの観測のバランスは、単一のLoRAシナリオにおいて例外的なパフォーマンスを可能にし、にもかかわらず複数のLoRAをロードすると劣化する。提案手法は,空間パッチに分割し,各パッチの予測ノイズとベースモデルとのコサイン類似性を計算することにより,潜時空間で動作する。これらの類似性は、LoRA出力の重み付けを導く空間的に認識された重み行列を構築するために使用される。ドメインのドリフトに対処するために、ベースモデルの無条件スコアを合成に組み込んだ分類器フリーガイダンスの修正を提案する。我々はこの定式化を動的モジュール選択設定に拡張し、大きなプールから関連するLoRAアダプタの推論時選択を可能にする。 Loratorioは最先端のパフォーマンスを達成し、ClipScoreは1.3%改善し、GPT-4Vは72.43%の勝利率を示し、複数の遅延拡散モデルに効果的に一般化する。

関連論文リスト

Cross-LoRA: A Data-Free LoRA Transfer Framework across Heterogeneous LLMs [10.218401136555064]
Cross-LoRAは、さまざまなベースモデル間でLoRAモジュールを転送するためのフレームワークである。実験の結果、クロスロラはベースモデルよりも5.26%の相対的なゲインを達成している。
論文参考訳（メタデータ） (2025-08-07T10:21:08Z)
AutoLoRA: Automatic LoRA Retrieval and Fine-Grained Gated Fusion for Text-to-Image Generation [32.46570968627392]
低ランク適応(LoRA)は、最小パラメータオーバーヘッドでモデルのカスタマイズを可能にする効果を実証している。意味駆動型LoRA検索と動的アグリゲーションを可能にする新しいフレームワークを提案する。提案手法は画像生成のパーフェマンスを大幅に改善する。
論文参考訳（メタデータ） (2025-08-04T06:36:00Z)
A Stronger Mixture of Low-Rank Experts for Fine-Tuning Foundation Models [22.457766373989365]
Low-Rank Adapters (LoRA) は、命令チューニングやドメイン適応など、様々な分野に広く採用されている。 LoRAの限られた表現能力に対処するため、複数のLoRAアダプタを組み込むためのMixture-of-Expert (MoE)が導入されている。マルチスペースプロジェクションによる特徴学習手順の安定化と向上を図るため,MoE-LoRAの新たなトレーニング戦略を提案する。
論文参考訳（メタデータ） (2025-02-20T05:58:53Z)
BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文参考訳（メタデータ） (2025-02-19T10:33:22Z)
LoRA vs Full Fine-tuning: An Illusion of Equivalence [76.11938177294178]
我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
論文参考訳（メタデータ） (2024-10-28T17:14:01Z)
AutoLoRA: AutoGuidance Meets Low-Rank Adaptation for Diffusion Models [0.9514837871243403]
低ランク適応(LoRA)は条件付き生成拡散モデルに適用できる微調整技術である。本稿では,LoRAアプローチを微調整した拡散モデルのための新しいガイダンス手法であるAutoLoRAを紹介する。
論文参考訳（メタデータ） (2024-10-04T21:57:11Z)
Merging LoRAs like Playing LEGO: Pushing the Modularity of LoRA to Extremes Through Rank-Wise Clustering [35.54018186415654]
Low-Rank Adaptation (LoRA) は、様々なドメインに最適化された大規模言語モデル(LLM)の一般的なテクニックとして登場した。 LoRA合成の既存の方法は、主に追加の訓練を必要とするタスク固有の適応に焦点を当てている。本稿では,LoRAにおける各ランクに対応するパラメータが独立単位として機能する最小意味単位(MSU)の概念を紹介する。我々は、異なるLoRAから$k$のクラスタにMSUをグループ化することで、ランクワイズパラメータクラスタリングを行うLoRA-LEGOフレームワークを提案する。
論文参考訳（メタデータ） (2024-09-24T15:08:41Z)
Mixture of LoRA Experts [87.50120181861362]
本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
論文参考訳（メタデータ） (2024-04-21T11:59:53Z)
Multi-LoRA Composition for Image Generation [107.83002438126832]
復号化中心の観点から,マルチロラ合成について検討する。我々は,各聴覚ステップで異なるLoRAを交互に切り替えるLoRA Switchと,より密着的な画像合成を導くためにすべてのLoRAを同時に組み込むLoRA Compositeの2つのトレーニングフリー手法を提案する。
論文参考訳（メタデータ） (2024-02-26T18:59:18Z)
LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
論文参考訳（メタデータ） (2024-02-15T15:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。