論文の概要: Contrastive Adapters for Foundation Model Group Robustness

• arxiv url: http://arxiv.org/abs/2207.07180v1
• Date: Thu, 14 Jul 2022 19:40:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-18 14:11:42.908947
• Title: Contrastive Adapters for Foundation Model Group Robustness
• Title（参考訳）: 基礎モデル群ロバスト性のためのコントラストアダプタ
• Authors: Michael Zhang and Christopher R\'e
• Abstract要約: 既存のロバスト性を改善するには再訓練が必要であるが、これは大規模な基礎モデルでは違法に高価である。 そこで本研究では,コントラスト学習を伴うアダプタを訓練し,それらの接地構造クラス埋め込みと,同じクラスに他のサンプル埋め込みの両方に近接してサンプル埋め込みをもたらすことを提案する。 提案手法は群ロバスト性を常に改善し,ゼロショットよりも最悪のグループ精度を8.5～56.0ppに向上させる。
• 参考スコア（独自算出の注目度）: 11.961187296775185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While large pretrained foundation models (FMs) have shown remarkable zero-shot classification robustness to dataset-level distribution shifts, their robustness to subpopulation or group shifts is relatively underexplored. We study this problem, and find that FMs such as CLIP may not be robust to various group shifts. Across 9 robustness benchmarks, zero-shot classification with their embeddings results in gaps of up to 80.7 percentage points (pp) between average and worst-group accuracy. Unfortunately, existing methods to improve robustness require retraining, which can be prohibitively expensive on large foundation models. We also find that efficient ways to improve model inference (e.g., via adapters, lightweight networks with FM embeddings as inputs) do not consistently improve and can sometimes hurt group robustness compared to zero-shot (e.g., increasing the accuracy gap by 50.1 pp on CelebA). We thus develop an adapter training strategy to effectively and efficiently improve FM group robustness. Our motivating observation is that while poor robustness results from groups in the same class being embedded far apart in the foundation model "embedding space," standard adapter training may not bring these points closer together. We thus propose contrastive adapting, which trains adapters with contrastive learning to bring sample embeddings close to both their ground-truth class embeddings and other sample embeddings in the same class. Across the 9 benchmarks, our approach consistently improves group robustness, raising worst-group accuracy by 8.5 to 56.0 pp over zero-shot. Our approach is also efficient, doing so without any FM finetuning and only a fixed set of frozen FM embeddings. On benchmarks such as Waterbirds and CelebA, this leads to worst-group accuracy comparable to state-of-the-art methods that retrain entire models, while only training $\leq$1% of the model parameters.
• Abstract（参考訳）: 大規模な事前訓練基礎モデル(FM)はデータセットレベルの分布シフトに対して顕著なゼロショット分類の堅牢性を示したが、サブポピュレーションやグループシフトに対する堅牢性は比較的過小評価されている。 この問題を研究し,クリップなどのfmsが様々なグループシフトに対して頑健でないことを見出した。 9つのロバスト性ベンチマークにおいて、埋め込みによるゼロショット分類は、平均と最悪のグループの精度の間に最大80.7パーセンテージポイント(pp)のギャップをもたらす。 残念なことに、ロバスト性を改善する既存の方法には再トレーニングが必要であり、大規模な基礎モデルでは極めて高価である。 また、モデル推論を改善する効率的な方法(例えば、アダプタ、FM埋め込みを入力とする軽量ネットワークなど)は、ゼロショットに比べて群堅牢性を損なう可能性がある(例えば、CelebAの精度ギャップを50.1pp増やす)。 そこで我々はFMグループロバスト性を効果的かつ効率的に向上するアダプタトレーニング戦略を開発した。 私たちのモチベーションは、同じクラスのグループが基盤モデル"embedding space"にずっと離れて埋め込まれているため、ロバスト性が低かったが、標準アダプタトレーニングがこれらのポイントを近づけることはない、ということです。 そこで本研究では, コントラスト学習を伴うアダプタを訓練し, 基底構造クラス埋め込みと他のサンプル埋め込みの両方に近接してサンプル埋め込みをもたらすコントラスト適応を提案する。 9つのベンチマークを通じて,グループロバスト性は一貫して向上し,ゼロショットで最大8.5～56.0ppの精度向上を実現している。 提案手法は,FM微細加工を一切行わず,固定されたFM埋め込みの組に留まらず,効率的である。 waterbirds や celeba のようなベンチマークでは、モデルパラメータの $\leq$1% をトレーニングしながら、モデル全体を再トレーニングする最先端のメソッドに匹敵する最悪のグループ精度をもたらす。

関連論文リスト

• Robust Fine-tuning of Zero-shot Models via Variance Reduction [56.360865951192324]
  微調整ゼロショットモデルの場合、このデシドラトゥムは細調整モデルで、分布内(ID)と分布外(OOD)の両方で優れる。 トレードオフを伴わずに最適なIDとOODの精度を同時に達成できるサンプルワイズアンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2024-11-11T13:13:39Z)
• Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation [3.894771553698554]
  経験的リスク最小化(ERM)モデルは、ターゲットと高い刺激的な相関を持つ属性に依存する傾向がある。 これにより、これらの属性を欠いた未表現(または'マイナー')グループのパフォーマンスを低下させることができる。 本稿では,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T08:17:44Z)
• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• MixedNUTS: Training-Free Accuracy-Robustness Balance via Nonlinearly Mixed Classifiers [41.56951365163419]
  MixedNUTSは、ロバストな分類器の出力ロジットを3つのパラメータしか持たない非線形変換で処理する訓練不要の手法である。 MixedNUTSは変換されたロジットを確率に変換し、それらを全体の出力として混合する。 CIFAR-10、CIFAR-100、ImageNetデータセットでは、MixedNUTSの精度とほぼSOTAの堅牢性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-03T21:12:36Z)
• Generalized Logit Adjustment: Calibrating Fine-tuned Models by Removing Label Bias in Foundation Models [75.9543301303586]
  CLIPのようなファンデーションモデルは、追加のトレーニングデータなしで、さまざまなタスクでゼロショット転送を可能にする。 微調整やアンサンブルも一般的に下流のタスクに合うように採用されている。 しかし、先行研究は基礎モデルに固有のバイアスを見落としていると論じる。
  論文  参考訳（メタデータ） (2023-10-12T08:01:11Z)
• Bias Amplification Enhances Minority Group Performance [10.380812738348899]
  本稿では,新しい2段階学習アルゴリズムであるBAMを提案する。 第1段階では、各トレーニングサンプルに対して学習可能な補助変数を導入することにより、バイアス増幅方式を用いてモデルを訓練する。 第2段階では、バイアス増幅モデルが誤分類したサンプルを重み付けし、その後、再重み付けされたデータセット上で同じモデルをトレーニングし続けます。
  論文  参考訳（メタデータ） (2023-09-13T04:40:08Z)
• Ranking & Reweighting Improves Group Distributional Robustness [14.021069321266516]
  本研究では,DRU(Discounted Rank Upweighting)と呼ばれるランキングベースのトレーニング手法を提案し,テストデータ上で強力なOOD性能を示すモデルを学習する。 いくつかの合成および実世界のデータセットの結果は、群分布シフトに頑健なモデルの選択と学習において、グループレベルの(ソフトミニマックスと異なり)アプローチの優れた能力を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-05-09T20:37:16Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Just Train Twice: Improving Group Robustness without Training Group Information [101.84574184298006]
  経験的リスク最小化による標準トレーニングは、特定のグループにおける平均的かつ低い精度で高い精度を達成するモデルを生成することができる。 群分布的ロバストな最適化 (group DRO) のような、最悪のグループ精度を達成する以前のアプローチでは、トレーニングポイントごとに高価なグループアノテーションが必要である。 本稿では,複数のエポックに対して標準的なERMモデルを訓練し,第1モデルが誤分類したトレーニング例を重み付けする第2モデルを訓練する,単純な2段階のアプローチであるJTTを提案する。
  論文  参考訳（メタデータ） (2021-07-19T17:52:32Z)
• To be Robust or to be Fair: Towards Fairness in Adversarial Training [83.42241071662897]
  逆行訓練アルゴリズムは、異なるデータ群間の精度と堅牢性に深刻な違いをもたらす傾向がある。 本稿では、敵防衛を行う際の不公平問題を軽減するためのFair-Robust-Learning(FRL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-13T02:21:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。