論文の概要: QR-LoRA: Efficient and Disentangled Fine-tuning via QR Decomposition for Customized Generation
- arxiv url: http://arxiv.org/abs/2507.04599v2
- Date: Thu, 24 Jul 2025 09:12:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-25 15:10:41.924593
- Title: QR-LoRA: Efficient and Disentangled Fine-tuning via QR Decomposition for Customized Generation
- Title（参考訳）: QR-LoRA: カスタマイズジェネレーションのためのQR分解による効率的かつ不整合ファインチューニング
- Authors: Jiahui Yang, Yongjia Ma, Donglin Di, Hao Li, Wei Chen, Yan Xie, Jianxun Cui, Xun Yang, Wangmeng Zuo,
- Abstract要約: 構造化パラメータ更新にQR分解を利用する新しい微調整フレームワークであるQR-LoRAを提案する。
我々の重要な洞察は、Q行列が視覚的特徴間の干渉を自然に最小化することである。
QR-LoRAは、コンテンツスタイルの融合タスクにおいて、より優れた絡み合いを実現することを示す実験である。
- 参考スコア（独自算出の注目度）: 52.024845354511555
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing text-to-image models often rely on parameter fine-tuning techniques such as Low-Rank Adaptation (LoRA) to customize visual attributes. However, when combining multiple LoRA models for content-style fusion tasks, unstructured modifications of weight matrices often lead to undesired feature entanglement between content and style attributes. We propose QR-LoRA, a novel fine-tuning framework leveraging QR decomposition for structured parameter updates that effectively separate visual attributes. Our key insight is that the orthogonal Q matrix naturally minimizes interference between different visual features, while the upper triangular R matrix efficiently encodes attribute-specific transformations. Our approach fixes both Q and R matrices while only training an additional task-specific $\Delta R$ matrix. This structured design reduces trainable parameters to half of conventional LoRA methods and supports effective merging of multiple adaptations without cross-contamination due to the strong disentanglement properties between $\Delta R$ matrices. Experiments demonstrate that QR-LoRA achieves superior disentanglement in content-style fusion tasks, establishing a new paradigm for parameter-efficient, disentangled fine-tuning in generative models. The project page is available at: https://luna-ai-lab.github.io/QR-LoRA/.
- Abstract（参考訳）: 既存のテキスト・ツー・イメージモデルは、視覚属性をカスタマイズするためにローランド適応(LoRA)のようなパラメータの微調整技術に依存していることが多い。
しかしながら、コンテンツスタイルの融合タスクに複数のLoRAモデルを組み合わせる場合、重み行列の非構造的な変更は、しばしばコンテンツとスタイルの属性の間に望ましくない特徴の絡み合いを引き起こす。
ビジュアル属性を効果的に分離する構造化パラメータ更新にQR分解を利用する新しい微調整フレームワークであるQR-LoRAを提案する。
我々の重要な洞察は、直交Q行列は自然に異なる視覚的特徴間の干渉を最小化し、上部三角R行列は属性固有の変換を効率的にエンコードするということである。
提案手法は,タスク固有の$\Delta R$行列のみをトレーニングしながら,Q行列とR行列の両方を修正する。
この構造設計は、トレーニング可能なパラメータを従来のLoRA手法の半分に削減し、$\Delta R$行列間の強い非絡み合い特性のため、クロス汚染のない複数の適応の効果的なマージをサポートする。
QR-LoRAは、コンテンツスタイルの融合タスクにおいて、より優れたアンタングル化を実現し、生成モデルにおけるパラメータ効率、非アンタングル化ファインタニングのための新しいパラダイムを確立する。
プロジェクトページは、https://luna-ai-lab.github.io/QR-LoRA/.com/で公開されている。
関連論文リスト
- Uni-LoRA: One Vector is All You Need [13.938834666101679]
Low-Rank Adaptation (LoRA) は、大規模言語モデルのための事実上のパラメータ効率の微調整(PEFT)手法となっている。
本稿では,これらの LoRA 変種が用いたパラメータ空間削減戦略を統一的な枠組みで定式化できることを示す。
Uni-LoRAの統一的なビューの下では、LLM全体のLoRAパラメータを再構築するためには、単一のトレーニング可能なベクトルしか必要としない。
論文 参考訳（メタデータ） (2025-06-01T03:00:09Z) - TLoRA: Tri-Matrix Low-Rank Adaptation of Large Language Models [0.135975510645475]
TLoRAはトリマトリクスの低ランク適応法である。
我々は,TLoRAが既存の低ランク手法に匹敵する性能を発揮することを示す。
論文 参考訳（メタデータ） (2025-04-25T23:11:10Z) - Reinforced Model Merging [53.84354455400038]
本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。
評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
論文 参考訳（メタデータ） (2025-03-27T08:52:41Z) - MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning [5.412348391086257]
我々は,グローバル共有ロラ,ミッドレベル共有ロラ,レイヤ特化ロラを導入して,グローバルパターン,中間レベル特徴,きめ細かい情報をキャプチャするMPPLoRAを提案する。
様々なNLPタスクの実験により、MPPLoRAはトレーニング可能なパラメータの数を著しく減らしながら、より効率的な適応とより良い性能を実現することが示された。
論文 参考訳（メタデータ） (2025-03-27T07:01:50Z) - In-Context Meta LoRA Generation [61.690065588534296]
Low-rank Adaptation (LoRA) はタスク固有の微調整機能を示す。
In-Context Meta LoRA (ICM-LoRA) は,大規模言語モデルのタスク固有のカスタマイズを効率的に行う新しい手法である。
ICM-LoRAは、現在のパラメータ再構成法よりも正確なLoRAパラメータ再構成を可能にする。
論文 参考訳（メタデータ） (2025-01-29T13:12:01Z) - VELoRA: A Low-Rank Adaptation Approach for Efficient RGB-Event based Recognition [54.27379947727035]
本稿では,RGBイベントに基づく分類のために,事前学習した基盤視覚モデルに適応するための新しいPEFT戦略を提案する。
また、2重モードのフレーム差は、フレーム差バックボーンネットワークを介してモーションキューをキャプチャすると考えられている。
ソースコードと事前トレーニングされたモデルはurlhttps://github.com/Event-AHU/VELoRAでリリースされる。
論文 参考訳（メタデータ） (2024-12-28T07:38:23Z) - LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。
よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。
本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文 参考訳（メタデータ） (2024-10-05T06:59:50Z) - CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation [0.0]
CURLoRAは、大規模な言語モデルを微調整するための新しいアプローチである。
破滅的な忘れ込みを軽減し、訓練可能なパラメータの数を減らします。
モデルの安定性とタスク間のパフォーマンスを維持しながら、トレーニング可能なパラメータの数を著しく削減します。
論文 参考訳（メタデータ） (2024-08-26T18:42:59Z) - Structured Unrestricted-Rank Matrices for Parameter Efficient Fine-tuning [38.80020737321214]
構造化非制限ランク行列(SURM)に基づく効率的なパラメータ微調整(PEFT)のためのフレームワークを提案する。
SURMは、LoRAの低ランク行列を置換しながら、様々な画像分類タスクにおいて5-7%の精度向上を実現している。
また、GLUEベンチマークでは、アダプタのパラメータ数を最大12倍に削減する(ほぼ品質が低下する)。
論文 参考訳（メタデータ） (2024-06-25T17:26:05Z) - LoTR: Low Tensor Rank Weight Adaptation [47.4904143988667]
大規模言語モデル(LLM)のパラメータ効率向上のための新しいアプローチであるLoTRを導入する。
LoTRはテンソル分解の形でパラメータの勾配更新を表す。
低ランクテンソル表現を持つ層列の同時圧縮により、LoTRはより優れたパラメータ効率をアーカイブできる。
論文 参考訳（メタデータ） (2024-02-02T13:00:38Z) - LQ-LoRA: Low-rank Plus Quantized Matrix Decomposition for Efficient Language Model Finetuning [66.85589263870702]
提案手法では,事前学習した行列を高精度の低ランク成分とメモリ効率の量子化成分に分解するために反復アルゴリズムを用いる。
微調整されたRoBERTaとLLaMA-2の実験は、我々の低ランク+量子化行列分解法(LQ-LoRA)が強いQLoRAおよびGPTQ-LoRAベースラインより優れていることを示した。
論文 参考訳（メタデータ） (2023-11-20T18:57:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。