論文の概要: LoRA-X: Bridging Foundation Models with Training-Free Cross-Model Adaptation

• arxiv url: http://arxiv.org/abs/2501.16559v2
• Date: Tue, 04 Feb 2025 18:43:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:54:38.489535
• Title: LoRA-X: Bridging Foundation Models with Training-Free Cross-Model Adaptation
• Title（参考訳）: LoRA-X: トレーニング不要なクロスモデル適応によるブリッジング基礎モデル
• Authors: Farzad Farhadzadeh, Debasmit Das, Shubhankar Borse, Fatih Porikli,
• Abstract要約: 新しいアダプタであるCross-Model Low-Rank Adaptation (LoRA-X)は、ソースモデルとターゲットモデル間のLoRAパラメータのトレーニング不要転送を可能にする。 本実験は,テキスト・ツー・イメージ生成におけるLoRA-Xの有効性を示す。
• 参考スコア（独自算出の注目度）: 48.22550575107633
• License:
• Abstract: The rising popularity of large foundation models has led to a heightened demand for parameter-efficient fine-tuning methods, such as Low-Rank Adaptation (LoRA), which offer performance comparable to full model fine-tuning while requiring only a few additional parameters tailored to the specific base model. When such base models are deprecated and replaced, all associated LoRA modules must be retrained, requiring access to either the original training data or a substantial amount of synthetic data that mirrors the original distribution. However, the original data is often inaccessible due to privacy or licensing issues, and generating synthetic data may be impractical and insufficiently representative. These factors complicate the fine-tuning process considerably. To address this challenge, we introduce a new adapter, Cross-Model Low-Rank Adaptation (LoRA-X), which enables the training-free transfer of LoRA parameters across source and target models, eliminating the need for original or synthetic training data. Our approach imposes the adapter to operate within the subspace of the source base model. This constraint is necessary because our prior knowledge of the target model is limited to its weights, and the criteria for ensuring the adapter's transferability are restricted to the target base model's weights and subspace. To facilitate the transfer of LoRA parameters of the source model to a target model, we employ the adapter only in the layers of the target model that exhibit an acceptable level of subspace similarity. Our extensive experiments demonstrate the effectiveness of LoRA-X for text-to-image generation, including Stable Diffusion v1.5 and Stable Diffusion XL.
• Abstract（参考訳）: 大規模ファンデーションモデルの人気が高まり、ローランド適応(LoRA)のようなパラメータ効率のよい微調整手法の需要が高まった。 このようなベースモデルが非推奨で置き換えられた場合、関連するLoRAモジュールはすべて再トレーニングされ、元のトレーニングデータまたは元の配布を反映する大量の合成データにアクセスする必要がある。 しかし、プライバシやライセンスの問題により、オリジナルのデータはアクセスできないことが多く、合成データの生成は実用的でなく、不十分に代表される可能性がある。 これらの因子は微調整過程をかなり複雑にする。 この課題に対処するために、ソースモデルとターゲットモデル間のLoRAパラメータのトレーニング不要転送を可能にする新しいアダプタであるCross-Model Low-Rank Adaptation (LoRA-X)を導入する。 我々のアプローチは、ソースベースモデルのサブスペース内で動作するためのアダプタを強制します。 この制約は、対象モデルの事前の知識はその重みに限られており、アダプタの転送可能性を保証する基準は、対象のベースモデルの重みと部分空間に限られているため必要である。 ソースモデルからターゲットモデルへのLoRAパラメータの転送を容易にするため、ターゲットモデルの層にのみアダプタを使用し、許容される部分空間類似度を示す。 本研究は, 安定拡散v1.5や安定拡散XLなど, テキスト・画像生成におけるLoRA-Xの有効性を実証するものである。

関連論文リスト

• LoRA vs Full Fine-tuning: An Illusion of Equivalence [76.11938177294178]
  本研究では, 異なる微調整法が, スペクトル特性のレンズを用いてモデルの重み行列を解析することにより, 事前学習モデルを変化させる方法について検討した。 単一値分解が全く異なる構造を持つ全微調整およびLoRA収量行列が得られた。 イントルーダ次元がLoRAの微調整モデルになぜ現れるのか、なぜそれらが望ましくないのか、そしてどのようにしてその効果を最小化できるかを検討することで結論を下す。
  論文  参考訳（メタデータ） (2024-10-28T17:14:01Z)
• Learning on LoRAs: GL-Equivariant Processing of Low-Rank Weight Spaces for Large Finetuned Models [38.197552424549514]
  低ランク適応(LoRA)は、大規模な基礎モデルの微調整に革命をもたらした。 LoRAは、これらの低ランクウェイトを入力として利用する機械学習技術を適用する機会を提供する。 本稿では,LoRA重みが機械学習モデルへの入力として機能するパラダイムであるLoRA(Learning on LoRAs)の可能性を検討する。
  論文  参考訳（メタデータ） (2024-10-05T15:52:47Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Are Logistic Models Really Interpretable? [10.239620808245448]
  最も単純なAI分類モデルの1つ、ロジスティック回帰は、そのモデルの重みを控えめに解釈する。 ユーザスタディを通じて、熟練した参加者が小さなLRモデルの動作を確実に再現できないことを示す。 線形加法モデル(LAM)はロジスティックモデルよりも解釈可能である。
  論文  参考訳（メタデータ） (2024-06-19T10:36:38Z)
• $\textit{Trans-LoRA}$: towards data-free Transferable Parameter Efficient Finetuning [28.668326340001695]
  低ランクアダプタ(LoRA)とその変種はパラメータ効率の良い微調整技術として人気がある。 ベースモデルを新しいモデルに置き換える必要がある場合、関連するすべてのLoRAモジュールを再トレーニングする必要がある。 LoRAモジュールとベースモデルがサービスプロバイダによってホストされている商用クラウドアプリケーションには特に問題があります。
  論文  参考訳（メタデータ） (2024-05-27T15:15:08Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Training Neural Networks from Scratch with Parallel Low-Rank Adapters [46.764982726136054]
  計算ノード間の複数の低ランクヘッドの並列トレーニングを実現するために設計された,新しい双方向最適化アルゴリズムである LoRA-the-Explorer (LTE) を導入する。 我々のアプローチには、様々なビジョンデータセットを用いたビジョントランスフォーマーの広範な実験が含まれており、LTEが標準の事前トレーニングと競合していることが示されている。
  論文  参考訳（メタデータ） (2024-02-26T18:55:13Z)
• The Expressive Power of Low-Rank Adaptation [11.371811534310078]
  パラメータ効率のよい微調整法である低ランク適応は、微調整事前学習モデルの代表的な手法として登場した。 本稿では,LoRAの表現力を理論的に解析することで,ギャップを埋める第一歩を踏み出す。 トランスフォーマーネットワークでは、任意のモデルが、ランク=$(fractextembedding size2)$ LoRAで同じサイズのターゲットモデルに適応可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-26T16:08:33Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。