Fugu-MT 論文翻訳(概要): Transformed Low-rank Adaptation via Tensor Decomposition and Its Applications to Text-to-image Models

論文の概要: Transformed Low-rank Adaptation via Tensor Decomposition and Its Applications to Text-to-image Models

arxiv url: http://arxiv.org/abs/2501.08727v1
Date: Wed, 15 Jan 2025 11:10:37 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-16 16:46:28.419724
Title: Transformed Low-rank Adaptation via Tensor Decomposition and Its Applications to Text-to-image Models
Title（参考訳）: テンソル分解による変換低ランク適応とテキスト-画像モデルへの応用
Authors: Zerui Tao, Yuhta Takida, Naoki Murata, Qibin Zhao, Yuki Mitsufuji,
Abstract要約: Low-Rank Adaptation (LoRA)とその変種は、その有効性から大きな注目を集めている。本稿では,2種類の適応,すなわち変換と残留適応を組み合わせた新しいPEFT法を提案する。主観駆動・制御可能ジェネレーションにおける微調整安定拡散モデルの実験を行った。
参考スコア（独自算出の注目度）: 32.68721299475496
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Parameter-Efficient Fine-Tuning (PEFT) of text-to-image models has become an increasingly popular technique with many applications. Among the various PEFT methods, Low-Rank Adaptation (LoRA) and its variants have gained significant attention due to their effectiveness, enabling users to fine-tune models with limited computational resources. However, the approximation gap between the low-rank assumption and desired fine-tuning weights prevents the simultaneous acquisition of ultra-parameter-efficiency and better performance. To reduce this gap and further improve the power of LoRA, we propose a new PEFT method that combines two classes of adaptations, namely, transform and residual adaptations. In specific, we first apply a full-rank and dense transform to the pre-trained weight. This learnable transform is expected to align the pre-trained weight as closely as possible to the desired weight, thereby reducing the rank of the residual weight. Then, the residual part can be effectively approximated by more compact and parameter-efficient structures, with a smaller approximation error. To achieve ultra-parameter-efficiency in practice, we design highly flexible and effective tensor decompositions for both the transform and residual adaptations. Additionally, popular PEFT methods such as DoRA can be summarized under this transform plus residual adaptation scheme. Experiments are conducted on fine-tuning Stable Diffusion models in subject-driven and controllable generation. The results manifest that our method can achieve better performances and parameter efficiency compared to LoRA and several baselines.
Abstract（参考訳）: テキスト・ツー・イメージ・モデルのパラメータ・エフェクト・ファイン・チューニング(PEFT)は、多くのアプリケーションで人気が高まっている。様々なPEFT手法の中で、LoRA(Lo-Rank Adaptation)とその変種は、その有効性から大きな注目を集めており、ユーザーは限られた計算資源を持つモデルを微調整できる。しかし、低ランク仮定と所望の微調整重みとの近似ギャップは、超パラメータ効率の同時獲得と性能の向上を妨げている。このギャップを減らし、LoRAのパワーをさらに向上するために、変換と残差の2種類の適応を組み合わせた新しいPEFT法を提案する。具体的には、まず、事前訓練された重みにフルランクで高密度な変換を適用する。この学習可能な変換は、予め訓練した重量を所望の重量にできるだけ密接に合わせることが期待され、それによって残留重量のランクが低下する。そして、残部をよりコンパクトでパラメータ効率の良い構造で近似し、近似誤差を小さくすることができる。実際に超パラメータ効率を実現するために,変換および残差適応の両面において,高い柔軟かつ効果的なテンソル分解を設計する。さらに、DoRAのような一般的なPEFT法は、この変換と残差適応スキームで要約することができる。主観駆動・制御可能ジェネレーションにおける微調整安定拡散モデルの実験を行った。その結果,本手法はLoRAやいくつかのベースラインと比較して,性能とパラメータ効率が向上することがわかった。

関連論文リスト

Decoupling Angles and Strength in Low-rank Adaptation [44.99833362998488]
Decoupled Low-rank Adaptation (DeLoRA)は学習可能な低ランク行列を正規化しスケールする新しい微調整法である。 DeLoRAは競合するPEFT法の性能に適合し,強靭性を示す。
論文参考訳（メタデータ） (2025-03-23T22:00:56Z)
A Simple and Effective Reinforcement Learning Method for Text-to-Image Diffusion Fine-tuning [61.403275660120606]
強化学習(Reinforcement Learning, RL)に基づく微調整は, 拡散モデルとブラックボックスの目的を整合させる強力なアプローチとして登場した。拡散微調整のための新しいRLであるLOOP(Left-one-out PPO)を提案する。以上の結果から, LOOPは様々なブラックボックス対象の拡散モデルを効果的に改善し, 計算効率と性能のバランスを良くすることを示す。
論文参考訳（メタデータ） (2025-03-02T13:43:53Z)
tCURLoRA: Tensor CUR Decomposition Based Low-Rank Parameter Adaptation and Its Application in Medical Image Segmentation [1.3281936946796913]
伝達学習は、事前訓練されたモデルからの知識を活用することで、目標タスクの性能を大幅に向上させた。ディープニューラルネットワークのスケールアップに伴って、フル微調整によって、計算とストレージの大幅な課題がもたらされる。テンソルCUR分解に基づく新しい微調整法であるtCURLoRAを提案する。
論文参考訳（メタデータ） (2025-01-04T08:25:32Z)
LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、下流タスクのための大規模な事前学習モデルに効果的に適応する、PEFT (Efficient Fine Tuning) 手法として人気がある。モデル更新に低階テンソルパラメトリゼーションを用いる新しい手法を提案する。提案手法は,大規模言語モデルの微調整に有効であり,比較性能を維持しつつ,パラメータ数の大幅な削減を実現している。
論文参考訳（メタデータ） (2024-10-05T06:59:50Z)
Efficient Source-Free Time-Series Adaptation via Parameter Subspace Disentanglement [0.7558576228782637]
我々は、効率的なソースフリードメイン適応(SFDA)のためのフレームワークを提案する。提案手法は,ソースモデル作成およびターゲット側適応のための改良されたパラダイムを導入する。我々は,本フレームワークが様々なSFDA法と互換性があり,計算効率が高いことを実証した。
論文参考訳（メタデータ） (2024-10-03T02:12:03Z)
Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
生成モデルのための新しいスペクトル対応適応フレームワークを提案する。本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
論文参考訳（メタデータ） (2024-05-31T17:43:35Z)
PYRA: Parallel Yielding Re-Activation for Training-Inference Efficient Task Adaptation [61.57833648734164]
本稿では, PYRA(Parallel Yielding Re-Activation)法を提案する。 PYRAは低圧縮率と高圧縮率の両方で競合する全ての手法より優れている。
論文参考訳（メタデータ） (2024-03-14T09:06:49Z)
Bayesian Parameter-Efficient Fine-Tuning for Overcoming Catastrophic Forgetting [10.559392015748989]
微調整性能を低下させることなく,我々の手法によって破滅的な忘れを克服できることを示す。以上の結果から,Kronecker-factored approximation を用いることで,対角線よりも学習前の知識の保存性が向上することが示唆された。
論文参考訳（メタデータ） (2024-02-19T15:26:19Z)
LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models [20.5908375260123]
モデル性能を維持しながら計算効率のよい微調整を実現するために,様々なパラメータ効率の微調整技術が提案されている。テンソル-トレイン分解によりトレーニング可能なパラメータを大幅に削減するフレームワークであるLoRETTAを提案する。 LoRETTAは、LLaMA-2-7Bモデルで最大100倍のパラメータで、最も広く使われているPEFT法よりも同等または優れた性能を実現している。
論文参考訳（メタデータ） (2024-02-18T01:20:00Z)
LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
論文参考訳（メタデータ） (2023-05-28T15:15:48Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。