論文の概要: Transformed Low-rank Adaptation via Tensor Decomposition and Its Applications to Text-to-image Models

• arxiv url: http://arxiv.org/abs/2501.08727v1
• Date: Wed, 15 Jan 2025 11:10:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:52:02.538660
• Title: Transformed Low-rank Adaptation via Tensor Decomposition and Its Applications to Text-to-image Models
• Title（参考訳）: テンソル分解による変換低ランク適応とテキスト-画像モデルへの応用
• Authors: Zerui Tao, Yuhta Takida, Naoki Murata, Qibin Zhao, Yuki Mitsufuji,
• Abstract要約: Low-Rank Adaptation (LoRA)とその変種は、その有効性から大きな注目を集めている。 本稿では,2種類の適応,すなわち変換と残留適応を組み合わせた新しいPEFT法を提案する。 主観駆動・制御可能ジェネレーションにおける微調整安定拡散モデルの実験を行った。
• 参考スコア（独自算出の注目度）: 32.68721299475496
• License:
• Abstract: Parameter-Efficient Fine-Tuning (PEFT) of text-to-image models has become an increasingly popular technique with many applications. Among the various PEFT methods, Low-Rank Adaptation (LoRA) and its variants have gained significant attention due to their effectiveness, enabling users to fine-tune models with limited computational resources. However, the approximation gap between the low-rank assumption and desired fine-tuning weights prevents the simultaneous acquisition of ultra-parameter-efficiency and better performance. To reduce this gap and further improve the power of LoRA, we propose a new PEFT method that combines two classes of adaptations, namely, transform and residual adaptations. In specific, we first apply a full-rank and dense transform to the pre-trained weight. This learnable transform is expected to align the pre-trained weight as closely as possible to the desired weight, thereby reducing the rank of the residual weight. Then, the residual part can be effectively approximated by more compact and parameter-efficient structures, with a smaller approximation error. To achieve ultra-parameter-efficiency in practice, we design highly flexible and effective tensor decompositions for both the transform and residual adaptations. Additionally, popular PEFT methods such as DoRA can be summarized under this transform plus residual adaptation scheme. Experiments are conducted on fine-tuning Stable Diffusion models in subject-driven and controllable generation. The results manifest that our method can achieve better performances and parameter efficiency compared to LoRA and several baselines.
• Abstract（参考訳）: テキスト・ツー・イメージ・モデルのパラメータ・エフェクト・ファイン・チューニング(PEFT)は、多くのアプリケーションで人気が高まっている。 様々なPEFT手法の中で、LoRA(Lo-Rank Adaptation)とその変種は、その有効性から大きな注目を集めており、ユーザーは限られた計算資源を持つモデルを微調整できる。 しかし、低ランク仮定と所望の微調整重みとの近似ギャップは、超パラメータ効率の同時獲得と性能の向上を妨げている。 このギャップを減らし、LoRAのパワーをさらに向上するために、変換と残差の2種類の適応を組み合わせた新しいPEFT法を提案する。 具体的には、まず、事前訓練された重みにフルランクで高密度な変換を適用する。 この学習可能な変換は、予め訓練した重量を所望の重量にできるだけ密接に合わせることが期待され、それによって残留重量のランクが低下する。 そして、残部をよりコンパクトでパラメータ効率の良い構造で近似し、近似誤差を小さくすることができる。 実際に超パラメータ効率を実現するために,変換および残差適応の両面において,高い柔軟かつ効果的なテンソル分解を設計する。 さらに、DoRAのような一般的なPEFT法は、この変換と残差適応スキームで要約することができる。 主観駆動・制御可能ジェネレーションにおける微調整安定拡散モデルの実験を行った。 その結果,本手法はLoRAやいくつかのベースラインと比較して,性能とパラメータ効率が向上することがわかった。

関連論文リスト

• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [95.32315448601241]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Fine Tuning without Catastrophic Forgetting via Selective Low Rank Adaptation [13.084333776247743]
  微調整は分散シフトに対する堅牢性を低下させ、アウト・オブ・ディストリビューション(OOD)のパフォーマンスに影響を及ぼす。 本稿では,低ランク適応(LoRA)ブロックを選択的に活性化するインジケータ関数を用いたパラメータ効率細調整(PEFT)手法を提案する。 有効微調整は5%のアクティブブロックで実現でき、効率が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2025-01-26T03:22:22Z)
• tCURLoRA: Tensor CUR Decomposition Based Low-Rank Parameter Adaptation and Its Application in Medical Image Segmentation [1.3281936946796913]
  伝達学習は、事前訓練されたモデルからの知識を活用することで、目標タスクの性能を大幅に向上させた。 ディープニューラルネットワークのスケールアップに伴って、フル微調整によって、計算とストレージの大幅な課題がもたらされる。 テンソルCUR分解に基づく新しい微調整法であるtCURLoRAを提案する。
  論文  参考訳（メタデータ） (2025-01-04T08:25:32Z)
• IntLoRA: Integral Low-rank Adaptation of Quantized Diffusion Models [68.55148272295916]
  IntLoRAを提案し、整数型(INT)低ランクパラメータを用いて効率限界を押し上げ、量子化拡散モデルに適応させる。 IntLoRAには3つの大きな利点がある: (i) 微調整の場合、事前トレーニングされた重みは量子化され、メモリ使用量が減少する (ii) ストレージの場合、事前トレーニングされた重みと低ランクの重みの両方が、ディスクスペースを少なく消費するINT内にある; (iii) 推論の場合、IntLoRA重みは、効率的な整数乗算やビットシフトによって自然に量子化された事前トレーニングされた重みにマージできる。
  論文  参考訳（メタデータ） (2024-10-29T05:50:17Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Efficient Source-Free Time-Series Adaptation via Parameter Subspace Disentanglement [0.7558576228782637]
  我々は、効率的なソースフリードメイン適応(SFDA)のためのフレームワークを提案する。 提案手法は,ソースモデル作成およびターゲット側適応のための改良されたパラダイムを導入する。 我々は,本フレームワークが様々なSFDA法と互換性があり,計算効率が高いことを実証した。
  論文  参考訳（メタデータ） (2024-10-03T02:12:03Z)
• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• PYRA: Parallel Yielding Re-Activation for Training-Inference Efficient Task Adaptation [61.57833648734164]
  本稿では, PYRA(Parallel Yielding Re-Activation)法を提案する。 PYRAは低圧縮率と高圧縮率の両方で競合する全ての手法より優れている。
  論文  参考訳（メタデータ） (2024-03-14T09:06:49Z)
• Bayesian Parameter-Efficient Fine-Tuning for Overcoming Catastrophic Forgetting [10.559392015748989]
  微調整性能を低下させることなく,我々の手法によって破滅的な忘れを克服できることを示す。 以上の結果から,Kronecker-factored approximation を用いることで,対角線よりも学習前の知識の保存性が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-02-19T15:26:19Z)
• LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models [20.5908375260123]
  モデル性能を維持しながら計算効率のよい微調整を実現するために,様々なパラメータ効率の微調整技術が提案されている。 テンソル-トレイン分解によりトレーニング可能なパラメータを大幅に削減するフレームワークであるLoRETTAを提案する。 LoRETTAは、LLaMA-2-7Bモデルで最大100倍のパラメータで、最も広く使われているPEFT法よりも同等または優れた性能を実現している。
  論文  参考訳（メタデータ） (2024-02-18T01:20:00Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。