論文の概要: QR-LoRA: Efficient and Disentangled Fine-tuning via QR Decomposition for Customized Generation

• arxiv url: http://arxiv.org/abs/2507.04599v1
• Date: Mon, 07 Jul 2025 01:31:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.249277
• Title: QR-LoRA: Efficient and Disentangled Fine-tuning via QR Decomposition for Customized Generation
• Title（参考訳）: QR-LoRA: カスタマイズジェネレーションのためのQR分解による効率的かつ不整合ファインチューニング
• Authors: Jiahui Yang, Yongjia Ma, Donglin Di, Hao Li, Wei Chen, Yan Xie, Jianxun Cui, Xun Yang, Wangmeng Zuo,
• Abstract要約: ビジュアル属性を効果的に分離する構造化パラメータ更新にQR分解を利用する新しい微調整フレームワークであるQR-LoRAを提案する。 我々の重要な洞察は、Q行列は自然に異なる視覚的特徴間の干渉を最小化し、上部三角R行列は属性固有の変換を効率的にエンコードするということである。 QR-LoRAは、コンテンツスタイルの融合タスクにおいて、より優れたアンタングル化を実現し、生成モデルにおけるパラメータ効率、非アンタングル化ファインタニングのための新しいパラダイムを確立する。
• 参考スコア（独自算出の注目度）: 52.024845354511555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing text-to-image models often rely on parameter fine-tuning techniques such as Low-Rank Adaptation (LoRA) to customize visual attributes. However, when combining multiple LoRA models for content-style fusion tasks, unstructured modifications of weight matrices often lead to undesired feature entanglement between content and style attributes. We propose QR-LoRA, a novel fine-tuning framework leveraging QR decomposition for structured parameter updates that effectively separate visual attributes. Our key insight is that the orthogonal Q matrix naturally minimizes interference between different visual features, while the upper triangular R matrix efficiently encodes attribute-specific transformations. Our approach fixes both Q and R matrices while only training an additional task-specific $\Delta R$ matrix. This structured design reduces trainable parameters to half of conventional LoRA methods and supports effective merging of multiple adaptations without cross-contamination due to the strong disentanglement properties between $\Delta R$ matrices. Experiments demonstrate that QR-LoRA achieves superior disentanglement in content-style fusion tasks, establishing a new paradigm for parameter-efficient, disentangled fine-tuning in generative models.
• Abstract（参考訳）: 既存のテキスト・ツー・イメージモデルは、視覚属性をカスタマイズするためにローランド適応(LoRA)のようなパラメータの微調整技術に依存していることが多い。 しかしながら、コンテンツスタイルの融合タスクに複数のLoRAモデルを組み合わせる場合、重み行列の非構造的な変更は、しばしばコンテンツとスタイルの属性の間に望ましくない特徴の絡み合いを引き起こす。 ビジュアル属性を効果的に分離する構造化パラメータ更新にQR分解を利用する新しい微調整フレームワークであるQR-LoRAを提案する。 我々の重要な洞察は、直交Q行列は自然に異なる視覚的特徴間の干渉を最小化し、上部三角R行列は属性固有の変換を効率的にエンコードするということである。 提案手法は,タスク固有の$\Delta R$行列のみをトレーニングしながら,Q行列とR行列の両方を修正する。 この構造設計は、トレーニング可能なパラメータを従来のLoRA手法の半分に削減し、$\Delta R$行列間の強い非絡み合い特性のため、クロス汚染のない複数の適応の効果的なマージをサポートする。 QR-LoRAは、コンテンツスタイルの融合タスクにおいて、より優れたアンタングル化を実現し、生成モデルにおけるパラメータ効率、非アンタングル化ファインタニングのための新しいパラダイムを確立する。

関連論文リスト

• Uni-LoRA: One Vector is All You Need [13.938834666101679]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのための事実上のパラメータ効率の微調整(PEFT)手法となっている。 本稿では,これらの LoRA 変種が用いたパラメータ空間削減戦略を統一的な枠組みで定式化できることを示す。 Uni-LoRAの統一的なビューの下では、LLM全体のLoRAパラメータを再構築するためには、単一のトレーニング可能なベクトルしか必要としない。
  論文  参考訳（メタデータ） (2025-06-01T03:00:09Z)
• TLoRA: Tri-Matrix Low-Rank Adaptation of Large Language Models [0.135975510645475]
  TLoRAはトリマトリクスの低ランク適応法である。 我々は,TLoRAが既存の低ランク手法に匹敵する性能を発揮することを示す。
  論文  参考訳（メタデータ） (2025-04-25T23:11:10Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Structured Unrestricted-Rank Matrices for Parameter Efficient Fine-tuning [38.80020737321214]
  構造化非制限ランク行列(SURM)に基づく効率的なパラメータ微調整(PEFT)のためのフレームワークを提案する。 SURMは、LoRAの低ランク行列を置換しながら、様々な画像分類タスクにおいて5-7%の精度向上を実現している。 また、GLUEベンチマークでは、アダプタのパラメータ数を最大12倍に削減する(ほぼ品質が低下する)。
  論文  参考訳（メタデータ） (2024-06-25T17:26:05Z)
• LQ-LoRA: Low-rank Plus Quantized Matrix Decomposition for Efficient Language Model Finetuning [66.85589263870702]
  提案手法では,事前学習した行列を高精度の低ランク成分とメモリ効率の量子化成分に分解するために反復アルゴリズムを用いる。 微調整されたRoBERTaとLLaMA-2の実験は、我々の低ランク+量子化行列分解法(LQ-LoRA)が強いQLoRAおよびGPTQ-LoRAベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2023-11-20T18:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。