論文の概要: On the Robustness Tradeoff in Fine-Tuning

• arxiv url: http://arxiv.org/abs/2503.14836v1
• Date: Wed, 19 Mar 2025 02:35:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:24:40.670708
• Title: On the Robustness Tradeoff in Fine-Tuning
• Title（参考訳）: ファインチューニングにおけるロバスト性トレードオフについて
• Authors: Kunyang Li, Jean-Charles Noirot Ferrand, Ryan Sheatsley, Blaine Hoak, Yohan Beugin, Eric Pauley, Patrick McDaniel,
• Abstract要約: 6つのベンチマークデータセット上で、微調整されたモデルのロバスト性と精度を評価する。 我々は、敵の堅牢性と正確性の間に一貫したトレードオフを観察する。 これらの洞察は、信頼性の高い現実世界のデプロイメントを保証するために、ロバストネスを意識した微調整の必要性を強調している。
• 参考スコア（独自算出の注目度）: 5.95580243805785
• License:
• Abstract: Fine-tuning has become the standard practice for adapting pre-trained (upstream) models to downstream tasks. However, the impact on model robustness is not well understood. In this work, we characterize the robustness-accuracy trade-off in fine-tuning. We evaluate the robustness and accuracy of fine-tuned models over 6 benchmark datasets and 7 different fine-tuning strategies. We observe a consistent trade-off between adversarial robustness and accuracy. Peripheral updates such as BitFit are more effective for simple tasks--over 75% above the average measured with area under the Pareto frontiers on CIFAR-10 and CIFAR-100. In contrast, fine-tuning information-heavy layers, such as attention layers via Compacter, achieves a better Pareto frontier on more complex tasks--57.5% and 34.6% above the average on Caltech-256 and CUB-200, respectively. Lastly, we observe that robustness of fine-tuning against out-of-distribution data closely tracks accuracy. These insights emphasize the need for robustness-aware fine-tuning to ensure reliable real-world deployments.
• Abstract（参考訳）: ファインチューニングは、トレーニング済み(上流)モデルを下流タスクに適応するための標準プラクティスとなっている。 しかし、モデルロバスト性への影響はよく理解されていない。 本研究では,微調整におけるロバストネスと精度のトレードオフを特徴付ける。 6つのベンチマークデータセットと7つの異なる微調整戦略を用いて、微調整モデルの堅牢性と精度を評価した。 我々は、敵の堅牢性と正確性の間に一貫したトレードオフを観察する。 BitFitのような周辺更新は、単純なタスクに対してより効果的である - CIFAR-10とCIFAR-100のParetoフロンティアで測定された平均値の75%以上である。 これとは対照的に、Caltech-256とCUB-200の平均よりも57.5%と34.6%という、より複雑なタスクにおいて、注意層のような微調整された情報重層がパレートフロンティアを達成している。 最後に,分布外データに対する微調整の堅牢性は精度をよく追跡する。 これらの洞察は、信頼性の高い現実世界のデプロイメントを保証するために、ロバストネスを意識した微調整の必要性を強調している。

関連論文リスト

• Robust Fine-tuning of Zero-shot Models via Variance Reduction [56.360865951192324]
  微調整ゼロショットモデルの場合、このデシドラトゥムは細調整モデルで、分布内(ID)と分布外(OOD)の両方で優れる。 トレードオフを伴わずに最適なIDとOODの精度を同時に達成できるサンプルワイズアンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2024-11-11T13:13:39Z)
• Accurate and Reliable Predictions with Mutual-Transport Ensemble [46.368395985214875]
  Kullback-Leibler (KL) を用いた共学習補助モデルの提案とクロスエントロピー損失の適応的正則化 MTEは精度と不確実性の両方を同時に向上させることができる。 例えば、CIFAR-100データセットでは、我々のResNet34/50上のMTEメソッドは、従来の最先端の手法に比べて大幅に改善された。
  論文  参考訳（メタデータ） (2024-05-30T03:15:59Z)
• MixedNUTS: Training-Free Accuracy-Robustness Balance via Nonlinearly Mixed Classifiers [41.56951365163419]
  MixedNUTSは、ロバストな分類器の出力ロジットを3つのパラメータしか持たない非線形変換で処理する訓練不要の手法である。 MixedNUTSは変換されたロジットを確率に変換し、それらを全体の出力として混合する。 CIFAR-10、CIFAR-100、ImageNetデータセットでは、MixedNUTSの精度とほぼSOTAの堅牢性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-03T21:12:36Z)
• Test-Time Adaptation Induces Stronger Accuracy and Agreement-on-the-Line [65.14099135546594]
  最近のテスト時間適応 (TTA) 法は, モデルに非常に弱い相関関係を示すシフトであっても, ACL と AGL の傾向を大幅に強化する。 この結果から,TTAとAGLに基づく推定手法を組み合わせることで,より広い分布シフトの集合に対する高精度なモデルOOD性能を推定できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-07T23:21:25Z)
• Improving the Accuracy-Robustness Trade-Off of Classifiers via Adaptive Smoothing [9.637143119088426]
  正誤例に対する頑健な基本分類器の信頼性差が,この改良の鍵となることを示す。 逆入力検出器を2つのベースモデルの混合を適応的に調整する混合ネットワークに適応させる。 提案したフレキシブルな手法は「適応的平滑化(adaptive smoothing)」と呼ばれ、クリーンな精度、堅牢性、あるいは敵検出を改善する既存のあるいは将来の方法と連携して機能する。
  論文  参考訳（メタデータ） (2023-01-29T22:05:28Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)
• Robust fine-tuning of zero-shot models [79.38373024475646]
  既存の微調整アプローチは、分布の精度を大幅に向上するが、分布外ロバスト性は低下する。 我々は、ゼロショットモデルと微調整モデルの重みをアンサンブルする、ロバスト性を改善するための単純で効果的な方法を提案する。 通常の微調整と比較して、結果として生じる重量空間のアンサンブルは、分配精度と一致または分配精度を大きく改善する。
  論文  参考訳（メタデータ） (2021-09-04T17:11:28Z)
• Adversarial Feature Stacking for Accurate and Robust Predictions [4.208059346198116]
  Adversarial Feature Stacking (AFS)モデルは、さまざまなレベルの堅牢性と精度を持つ機能を共同で活用することができる。 CIFAR-10およびCIFAR-100データセット上でのAFSモデルの評価を行った。
  論文  参考訳（メタデータ） (2021-03-24T12:01:24Z)
• Adversarial Concurrent Training: Optimizing Robustness and Accuracy Trade-off of Deep Neural Networks [13.041607703862724]
  ミニマックスゲームにおいて,自然モデルと連動して頑健なモデルを訓練するための適応的並行訓練(ACT)を提案する。 ACTは標準精度68.20%、目標外攻撃で44.29%のロバスト性を達成している。
  論文  参考訳（メタデータ） (2020-08-16T22:14:48Z)
• Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
  対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。 提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
  論文  参考訳（メタデータ） (2020-03-28T18:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。