論文の概要: Pre-training Everywhere: Parameter-Efficient Fine-Tuning for Medical Image Analysis via Target Parameter Pre-training

• arxiv url: http://arxiv.org/abs/2408.15011v1
• Date: Tue, 27 Aug 2024 12:48:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 13:53:43.196648
• Title: Pre-training Everywhere: Parameter-Efficient Fine-Tuning for Medical Image Analysis via Target Parameter Pre-training
• Title（参考訳）: あらゆる場所で事前訓練:目標パラメータによる医用画像解析のためのパラメータ効率の良い微調整
• Authors: Xingliang Lei, Yiwen Ye, Ziyang Chen, Minglei Shu, Yong Xia,
• Abstract要約: ターゲット事前学習(TPP)に基づく簡易かつ効果的な微調整フレームワークを提案する。 TPPはPEFTの前にこれらのターゲットパラメータを事前訓練するための追加段階を含む。 TPPは既存のPEFT手法に容易に統合でき、性能が大幅に向上する。
• 参考スコア（独自算出の注目度）: 17.433808197776003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) techniques have emerged to address issues of overfitting and high computational costs associated with fully fine-tuning in the paradigm of self-supervised learning. Mainstream methods based on PEFT involve adding a few trainable parameters while keeping the pre-trained parameters of the backbone fixed. These methods achieve comparative, and often superior, performance to fully fine-tuning, demonstrating the powerful representation ability of the pre-trained backbone. Despite its success, these methods typically ignore the initialization of the new parameters, often relying solely on random initialization. We argue that if pre-training is significantly beneficial, it should be applied to all parameters requiring representational capacity. Motivated by this insight, we propose a simple yet effective fine-tuning framework based on Target Parameter Pre-training (TPP). The target parameters refer to the new parameters introduced during fine-tuning. TPP includes an additional stage before PEFT to pre-train these target parameters. During this stage, the pre-trained backbone parameters are frozen, and only the target parameters are trainable. A defined pre-text task is used to encourage the target parameters to learn specific representations of downstream data. When PEFT is subsequently employed, the pre-trained target parameters are loaded to enhance fine-tuning efficiency. The proposed TPP framework is versatile, allowing for the integration of various pretext tasks for pre-training and supporting different PEFT methods as backbones. We evaluated the fine-tining performance of our method using five public datasets, including three modalities and two task types. The results demonstrate that the proposed TPP can be easily integrated into existing PEFT methods, significantly improving performance.
• Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)技術は、自己教師学習のパラダイムにおける完全微調整に伴う過度な適合と高い計算コストの問題に対処するために出現している。 PEFTに基づくメインストリームメソッドでは、バックボーンのトレーニング済みパラメータを固定しながら、トレーニング可能なパラメータをいくつか追加する。 これらの手法は、訓練済みのバックボーンの強力な表現能力を実証し、完全な微調整に比較し、しばしば優れた性能を発揮する。 その成功にもかかわらず、これらの手法は一般に新しいパラメータの初期化を無視し、しばしばランダムな初期化にのみ依存する。 事前学習が有益であるなら、表現能力を必要とする全てのパラメータに適用すべきである。 そこで本研究では,ターゲットパラメータ事前学習(TPP)に基づく簡易かつ効果的な微調整フレームワークを提案する。 ターゲットパラメータは、微調整中に導入された新しいパラメータを指す。 TPPはPEFTの前にこれらのターゲットパラメータを事前訓練するための追加段階を含む。 この段階では、事前訓練されたバックボーンパラメータは凍結され、ターゲットパラメータのみがトレーニング可能である。 定義済みのプレテキストタスクは、ターゲットパラメータが下流データの特定の表現を学ぶことを奨励するために使用される。 その後、PEFTが使用されると、訓練済みの目標パラメータをロードして微調整効率を高める。 提案する TPP フレームワークは汎用性が高く,各種PEFT メソッドをバックボーンとして事前学習およびサポートするための各種プリテキストタスクの統合が可能である。 3つのモードと2つのタスクタイプを含む5つの公開データセットを用いて,提案手法の微調整性能を評価した。 その結果,提案手法は既存のPEFT手法と容易に統合でき,性能が大幅に向上した。

関連論文リスト

• Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
  Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。 実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
  論文  参考訳（メタデータ） (2024-07-28T19:18:59Z)
• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
  隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。 提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-05-26T08:44:42Z)
• Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
  FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。 近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。 しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。 これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
  論文  参考訳（メタデータ） (2023-04-04T16:14:39Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Know Where You're Going: Meta-Learning for Parameter-Efficient Fine-tuning [34.66092282348687]
  そこで本研究では,微調整手法の究極的な選択を考慮に入れれば,パラメータ効率の高い微調整性能が向上することを示す。 パラメータ効率の良い微調整のための事前学習モデルを作成し,NERファインチューニングにおける最大1.7ポイントのゲインを得た。
  論文  参考訳（メタデータ） (2022-05-25T02:51:57Z)
• Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
  私たちはaを提案します。 Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。 多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-05-23T02:43:45Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。