論文の概要: Robust Fine-tuning of Zero-shot Models via Variance Reduction

• arxiv url: http://arxiv.org/abs/2411.06966v1
• Date: Mon, 11 Nov 2024 13:13:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:09:07.442701
• Title: Robust Fine-tuning of Zero-shot Models via Variance Reduction
• Title（参考訳）: 可変化によるゼロショットモデルのロバスト微調整
• Authors: Beier Zhu, Jiequan Cui, Hanwang Zhang,
• Abstract要約: 微調整ゼロショットモデルの場合、このデシドラトゥムは細調整モデルで、分布内(ID)と分布外(OOD)の両方で優れる。 トレードオフを伴わずに最適なIDとOODの精度を同時に達成できるサンプルワイズアンサンブル手法を提案する。
• 参考スコア（独自算出の注目度）: 56.360865951192324
• License:
• Abstract: When fine-tuning zero-shot models like CLIP, our desideratum is for the fine-tuned model to excel in both in-distribution (ID) and out-of-distribution (OOD). Recently, ensemble-based models (ESM) have been shown to offer significant robustness improvement, while preserving high ID accuracy. However, our study finds that ESMs do not solve the ID-OOD trade-offs: they achieve peak performance for ID and OOD accuracy at different mixing coefficients. When optimized for OOD accuracy, the ensemble model exhibits a noticeable decline in ID accuracy, and vice versa. In contrast, we propose a sample-wise ensembling technique that can simultaneously attain the best ID and OOD accuracy without the trade-offs. Specifically, we construct a Zero-Shot Failure (ZSF) set containing training samples incorrectly predicted by the zero-shot model. For each test sample, we calculate its distance to the ZSF set and assign a higher weight to the fine-tuned model in the ensemble if the distance is small. We term our method Variance Reduction Fine-tuning (VRF), as it effectively reduces the variance in ensemble predictions, thereby decreasing residual error. On ImageNet and five derived distribution shifts, our VRF further improves the OOD accuracy by 1.5 - 2.0 pp over the ensemble baselines while maintaining or increasing ID accuracy. VRF achieves similar large robustness gains (0.9 - 3.1 pp) on other distribution shifts benchmarks. Codes are available in https://github.com/BeierZhu/VRF.
• Abstract（参考訳）: CLIPのような微調整ゼロショットモデルでは、desideratumは、細調整されたモデルがIn-distriion(ID)とout-of-distriion(OOD)の両方で優れています。 近年, アンサンブルベースモデル (ESM) は, 高いID精度を保ちながら, 堅牢性を著しく向上することが示されている。 しかし、本研究では、ESMはID-OODトレードオフを解決せず、異なる混合係数でIDとOODの精度のピーク性能を達成している。 OOD精度に最適化された場合、アンサンブルモデルはID精度の顕著な低下を示し、その逆である。 対照的に、トレードオフなしに最高のIDとOODの精度を同時に達成できるサンプルワイズ・アンサンブル手法を提案する。 具体的には、ゼロショットモデルによって誤って予測されたトレーニングサンプルを含むゼロショット故障(ZSF)セットを構築する。 各試験試料について、ZSF集合への距離を計算し、距離が小さい場合、アンサンブル内の細調整されたモデルにより高い重量を割り当てる。 本手法は,アンサンブル予測のばらつきを効果的に低減し,残差を低減させるため,VRF(Variance Reduction Fine-tuning)と呼ぶ。 ImageNetと5つの派生分布シフトにおいて、我々のVRFは、IDの精度を維持したり増加させたりしながら、アンサンブルベースラインよりも1.5-2.0ppのOOD精度をさらに向上する。 VRFは、他の分散シフトベンチマークで同様の大きなロバスト性向上(0.9-3.1pp)を達成する。 コードはhttps://github.com/BeierZhu/VRF.comで入手できる。

関連論文リスト

• MixedNUTS: Training-Free Accuracy-Robustness Balance via Nonlinearly Mixed Classifiers [41.56951365163419]
  MixedNUTSは、ロバストな分類器の出力ロジットを3つのパラメータしか持たない非線形変換で処理する訓練不要の手法である。 MixedNUTSは変換されたロジットを確率に変換し、それらを全体の出力として混合する。 CIFAR-10、CIFAR-100、ImageNetデータセットでは、MixedNUTSの精度とほぼSOTAの堅牢性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-03T21:12:36Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• Effective Robustness against Natural Distribution Shifts for Models with Different Training Data [113.21868839569]
  効果的ロバスト性」は、分配内(ID)性能から予測できる以上の余分な分配外ロバスト性を測定する。 異なるデータに基づいてトレーニングされたモデルの有効ロバスト性を評価・比較するための新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2023-02-02T19:28:41Z)
• Calibrated ensembles can mitigate accuracy tradeoffs under distribution shift [108.30303219703845]
  ID校正アンサンブルは,IDとOODの精度で,先行技術(自己学習に基づく)より優れていた。 我々は,この手法をスタイリングされた環境で解析し,IDとOODの両方をうまく処理するためのアンサンブルの2つの重要な条件を同定する。
  論文  参考訳（メタデータ） (2022-07-18T23:14:44Z)
• Fine-Tuning can Distort Pretrained Features and Underperform Out-of-Distribution [100.01469697743322]
  微調整は、事前訓練された特徴が良好で分布シフトが大きい場合、線形探索よりも精度が良くなる。 我々は,このIDとOODの精度のトレードオフが,簡単な設定でも生じることを理論的に示す。 解析の結果,線形探究の容易な2段階戦略は,線形探究と線形探究の両方の利点を併せ持つことが明らかとなった。
  論文  参考訳（メタデータ） (2022-02-21T09:03:34Z)
• Robust fine-tuning of zero-shot models [79.38373024475646]
  既存の微調整アプローチは、分布の精度を大幅に向上するが、分布外ロバスト性は低下する。 我々は、ゼロショットモデルと微調整モデルの重みをアンサンブルする、ロバスト性を改善するための単純で効果的な方法を提案する。 通常の微調整と比較して、結果として生じる重量空間のアンサンブルは、分配精度と一致または分配精度を大きく改善する。
  論文  参考訳（メタデータ） (2021-09-04T17:11:28Z)
• Boosting Randomized Smoothing with Variance Reduced Classifiers [4.110108749051657]
  ランダム化平滑化(Randomized Smoothing, RS)のベースモデルとして, アンサンブルが特に適した選択である理由を考察する。 我々は、この選択を実証的に確認し、複数の設定でアート結果の状態を取得する。
  論文  参考訳（メタデータ） (2021-06-13T08:40:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。