論文の概要: Understanding Robustness of Parameter-Efficient Tuning for Image Classification

• arxiv url: http://arxiv.org/abs/2410.09845v1
• Date: Sun, 13 Oct 2024 14:03:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 04:32:54.110010
• Title: Understanding Robustness of Parameter-Efficient Tuning for Image Classification
• Title（参考訳）: 画像分類におけるパラメータ効率の高いチューニングのロバストさの理解
• Authors: Jiacheng Ruan, Xian Gao, Suncheng Xiang, Mingye Xie, Ting Liu, Yuzhuo Fu,
• Abstract要約: 非効率チューニング(PET)技術は、事前学習されたモデルを凍結し、少数の学習可能なパラメータを導入することにより、下流タスクにおけるモデルの予測を調整する。 多くのPET法が提案されているが、その堅牢性は十分には研究されていない。 ホワイトボックス攻撃と情報摂動の両方による4つの古典的PET技術の堅牢性について,系統的に検討した。
• 参考スコア（独自算出の注目度）: 25.55449634279612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient tuning (PET) techniques calibrate the model's predictions on downstream tasks by freezing the pre-trained models and introducing a small number of learnable parameters. However, despite the numerous PET methods proposed, their robustness has not been thoroughly investigated. In this paper, we systematically explore the robustness of four classical PET techniques (e.g., VPT, Adapter, AdaptFormer, and LoRA) under both white-box attacks and information perturbations. For white-box attack scenarios, we first analyze the performance of PET techniques using FGSM and PGD attacks. Subsequently, we further explore the transferability of adversarial samples and the impact of learnable parameter quantities on the robustness of PET methods. Under information perturbation attacks, we introduce four distinct perturbation strategies, including Patch-wise Drop, Pixel-wise Drop, Patch Shuffle, and Gaussian Noise, to comprehensively assess the robustness of these PET techniques in the presence of information loss. Via these extensive studies, we enhance the understanding of the robustness of PET methods, providing valuable insights for improving their performance in computer vision applications. The code is available at https://github.com/JCruan519/PETRobustness.
• Abstract（参考訳）: パラメータ効率チューニング(PET)技術は、事前学習されたモデルの凍結と少数の学習可能なパラメータの導入によって、下流タスクにおけるモデルの予測を調整する。 しかし,多くのPET法が提案されているにもかかわらず,その堅牢性は十分には研究されていない。 本稿では,4つの古典的PET技術(VPT,Adapter,AdaptFormer,LoRA)のロバスト性を,ホワイトボックス攻撃と情報摂動の両方で体系的に検討する。 ホワイトボックス攻撃の場合、まずFGSMとPGD攻撃を用いてPET技術の性能を解析する。 さらに, 学習可能なパラメータ量がPET法のロバスト性に及ぼす影響について検討した。 情報摂動攻撃では,Patch-wise Drop, Pixel-wise Drop, Patch Shuffle, Gaussian Noiseの4つの異なる摂動戦略を導入する。 これらの広範な研究により,PET法の堅牢性に対する理解が深まり,コンピュータビジョンアプリケーションの性能向上に資する貴重な知見が得られている。 コードはhttps://github.com/JCruan519/PETRobustnessで入手できる。

関連論文リスト

• Parameter Efficient Fine Tuning for Multi-scanner PET to PET Reconstruction [3.74142789780782]
  潜在能力に感銘を受ける。 PEFT (Efficient Fine-Tuning, PEFT) は, PEFTを有効活用して限られたデータを改善することを目的としている。 本稿ではPETITEについて紹介する。 MultI-Scanner PET と PET Reconstruction の効率的なファインチューニングは、パラメータの1%未満を使用する。
  論文  参考訳（メタデータ） (2024-07-10T10:12:26Z)
• HiDe-PET: Continual Learning via Hierarchical Decomposition of Parameter-Efficient Tuning [55.88910947643436]
  予備学習モデル(PTM)とパラメータ効率チューニング(PET)を組み合わせた連続学習(CL)統合フレームワークを提案する。 タスク固有知識とタスク共有知識を取り入れることで目的を明示的に最適化する革新的な手法である階層分解PET(HiDe-PET)を提案する。 提案手法は,近年の強いベースラインの幅広いスペクトルに対して,極めて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-07T01:50:25Z)
• ConPET: Continual Parameter-Efficient Tuning for Large Language Models [65.48107393731861]
  継続的な学習には、新しいタスクへのモデルの継続的な適応が必要である。 継続性を提案する。 効率的なチューニング(ConPET) - 一般化可能なパラダイム。 大規模言語モデルの連続的なタスク適応。
  論文  参考訳（メタデータ） (2023-09-26T08:52:04Z)
• Contrastive Diffusion Model with Auxiliary Guidance for Coarse-to-Fine PET Reconstruction [62.29541106695824]
  本稿では, 粗い予測モジュール (CPM) と反復的修正モジュール (IRM) から構成される粗大なPET再構成フレームワークを提案する。 計算オーバーヘッドの大部分をCPMに委譲することで,本手法のサンプリング速度を大幅に向上させることができる。 2つの追加戦略、すなわち補助的な誘導戦略と対照的な拡散戦略が提案され、再構築プロセスに統合される。
  論文  参考訳（メタデータ） (2023-08-20T04:10:36Z)
• Exploring the Impact of Model Scaling on Parameter-Efficient Tuning [100.61202305296275]
  大規模事前学習言語モデル(PLM)を効果的に駆動できるスケーリング効率チューニング(PET)法 小型PLMでは、PET法には通常顕著な性能差がある。 本稿では,Arbitrary PET (APET) 法という,より柔軟なPET法を提案する。
  論文  参考訳（メタデータ） (2023-06-04T10:10:54Z)
• Gradient-Based Automated Iterative Recovery for Parameter-Efficient Tuning [11.124310650599146]
  我々はTracInを用いてパラメータ効率チューニング(PET)設定におけるモデル性能を改善する。 モデル性能を改善するために,勾配に基づく説明可能性技術を用いた新しい手法を開発した。
  論文  参考訳（メタデータ） (2023-02-13T18:54:58Z)
• Towards a Unified View on Visual Parameter-Efficient Transfer Learning [96.99924127527002]
  本稿では,視覚PETL(visual-PETL)と呼ばれる統一的な視点を持つフレームワークを提案し,トレードオフに影響を与えるさまざまな側面について検討する。 提案したV-PETLフレームワークから派生したSwin-BAPATは、最先端のAdaptFormer-Swinよりも大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-10-03T09:54:39Z)
• Improving and Simplifying Pattern Exploiting Training [81.77863825517511]
  Pattern Exploiting Training (PET)は、数発学習にパターンを利用する最近のアプローチである。 本稿では,未ラベルデータのないショットラーニングに焦点をあて,ADAPETを導入する。 ADAPETは、タスク固有のラベルなしデータなしでSuperGLUE上のPETより優れています。
  論文  参考訳（メタデータ） (2021-03-22T15:52:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。