論文の概要: SALT: Singular Value Adaptation with Low-Rank Transformation

• arxiv url: http://arxiv.org/abs/2503.16055v1
• Date: Thu, 20 Mar 2025 11:42:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:33:28.426625
• Title: SALT: Singular Value Adaptation with Low-Rank Transformation
• Title（参考訳）: SALT:低ランク変換による特異値適応
• Authors: Abdelrahman Elsayed, Sarim Hashmi, Mohammed Elseiagy, Hu Wang, Mohammad Yaqub, Ibrahim Almakky,
• Abstract要約: 大きな基礎モデルはかなりの柔軟性を提供するが、これらのモデルを微調整するコストは依然として大きな障壁である。 トレーニング可能なスケールとシフトパラメータを用いて,最も影響力のある特異値を選択的に適応するSALTを提案する。 このハイブリッドアプローチはLoRAとSVDの両方の利点を活用し、モデルのサイズや深さを増すことなく効果的な適応を可能にする。
• 参考スコア（独自算出の注目度）: 3.207101115773696
• License:
• Abstract: The complex nature of medical image segmentation calls for models that are specifically designed to capture detailed, domain-specific features. Large foundation models offer considerable flexibility, yet the cost of fine-tuning these models remains a significant barrier. Parameter-Efficient Fine-Tuning (PEFT) methods, such as Low-Rank Adaptation (LoRA), efficiently update model weights with low-rank matrices but may suffer from underfitting when the chosen rank is insufficient to capture domain-specific nuances. Conversely, full-rank Singular Value Decomposition (SVD) based methods provide comprehensive updates by modifying all singular values, yet they often lack flexibility and exhibit variable performance across datasets. We propose SALT (Singular Value Adaptation with Low-Rank Transformation), a method that selectively adapts the most influential singular values using trainable scale and shift parameters while complementing this with a low-rank update for the remaining subspace. This hybrid approach harnesses the advantages of both LoRA and SVD, enabling effective adaptation without relying on increasing model size or depth. Evaluated on 5 challenging medical datasets, ranging from as few as 20 samples to 1000, SALT outperforms state-of-the-art PEFT (LoRA and SVD) by 2% to 5% in Dice with only 3.9% trainable parameters, demonstrating robust adaptation even in low-resource settings. The code for SALT is available at: https://github.com/BioMedIA-MBZUAI/SALT
• Abstract（参考訳）: 医療画像セグメンテーションの複雑な性質は、詳細でドメイン固有の特徴を捉えるために特別に設計されたモデルを要求する。 大きな基礎モデルはかなりの柔軟性を提供するが、これらのモデルを微調整するコストは依然として大きな障壁である。 低ランク適応 (LoRA) のようなパラメータ効率の良いファインチューニング (PEFT) 手法は、低ランク行列でモデルの重みを効率的に更新するが、選択したランクが不十分な場合、ドメイン固有のニュアンスを捕捉することができない。 逆に、完全なSingular Value Decomposition(SVD)ベースのメソッドは、すべての特異値を変更することで包括的な更新を提供するが、柔軟性が欠如し、データセット間での可変パフォーマンスを示すことが多い。 トレーニング可能なスケールとシフトパラメータを用いて、最も影響力のある特異値を選択的に適応する手法であるSALT(Singular Value Adaptation with Low-Rank Transformation)を提案する。 このハイブリッドアプローチはLoRAとSVDの両方の利点を活用し、モデルのサイズや深さを増すことなく効果的な適応を可能にする。 20のサンプルから1000までの5つの挑戦的な医療データセットに基づいて評価され、SALTはDiceの最先端PEFT(LoRAとSVD)を2%から5%上回り、トレーニング可能なパラメータはわずか3.9%で、低リソース環境でも堅牢な適応を実証している。 SALTのコードは、https://github.com/BioMedIA-MBzuAI/SALTで公開されている。

関連論文リスト

• FineGates: LLMs Finetuning with Compression using Stochastic Gates [7.093692674858257]
  大規模言語モデル(LLM)は、高い計算要求のため、完全な微調整に重大な課題をもたらす。 低ランクのアダプタ層を学習するなど、軽量なファインタニング技術が提案されている。 本稿では,フリーズベースモデルとタスク固有適応を同時に分散するゲートに基づくアダプタモデルを提案する。
  論文  参考訳（メタデータ） (2024-12-17T14:33:05Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• On the Implicit Relation Between Low-Rank Adaptation and Differential Privacy [5.359060261460183]
  言語モデルの低ランクタスク適応(LoRAやFLoRAなど)が提案されている。 データプライバシのレンズからの低ランク適応に注目します。 他の既存の微調整アルゴリズムとは異なり、低ランク適応は暗黙的に微調整データのプライバシーを提供する。
  論文  参考訳（メタデータ） (2024-09-26T04:56:49Z)
• SARA: Singular-Value Based Adaptive Low-Rank Adaption [4.135688713311511]
  パラメータ効率のよい微細チューニング(PEFT)手法としてのLoRAは、推論オーバーヘッドを加算しないために広く用いられている。 本研究ではまず,各層の性能とランクの関係をSVDを用いて解析する。 これに基づいてSARA(Singular-Value Based Adaptive Low-Rank Adaption)を設計する。
  論文  参考訳（メタデータ） (2024-08-06T16:39:42Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)
• Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding [60.226644697970116]
  ドメイン分類は自然言語理解(NLU)の基本課題である 既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。 本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。