論文の概要: Simple and Fast Group Robustness by Automatic Feature Reweighting

• arxiv url: http://arxiv.org/abs/2306.11074v1
• Date: Mon, 19 Jun 2023 17:19:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 16:49:32.233466
• Title: Simple and Fast Group Robustness by Automatic Feature Reweighting
• Title（参考訳）: 自動特徴強調法による単純・高速グループロバストネス
• Authors: Shikai Qiu, Andres Potapczynski, Pavel Izmailov and Andrew Gordon Wilson
• Abstract要約: 突発的特徴への依存を軽減するために,自動特徴強調(AFR)を提案する。 AFRは、標準ERMトレーニングベースモデルの最後の層を重み付き損失で再訓練する。 いくつかの視覚および自然言語分類ベンチマークにおいて、刺激的な属性を伴わずに訓練された競合手法の最良の報告結果を改善する。
• 参考スコア（独自算出の注目度）: 45.9024045614187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A major challenge to out-of-distribution generalization is reliance on spurious features -- patterns that are predictive of the class label in the training data distribution, but not causally related to the target. Standard methods for reducing the reliance on spurious features typically assume that we know what the spurious feature is, which is rarely true in the real world. Methods that attempt to alleviate this limitation are complex, hard to tune, and lead to a significant computational overhead compared to standard training. In this paper, we propose Automatic Feature Reweighting (AFR), an extremely simple and fast method for updating the model to reduce the reliance on spurious features. AFR retrains the last layer of a standard ERM-trained base model with a weighted loss that emphasizes the examples where the ERM model predicts poorly, automatically upweighting the minority group without group labels. With this simple procedure, we improve upon the best reported results among competing methods trained without spurious attributes on several vision and natural language classification benchmarks, using only a fraction of their compute.
• Abstract（参考訳）: 分散の一般化に対する大きな課題は、トレーニングデータ配布でクラスラベルを予測するが、ターゲットに因果関係はない、スプリアスな特徴に依存することだ。 突発的特徴への依存を減らすための標準的な方法は、通常我々がその突発的特徴が何であるかを知っていると仮定する。 この制限を緩和しようとするメソッドは複雑であり、チューニングが困難であり、標準的なトレーニングと比べて計算オーバーヘッドが大幅に増大する。 本稿では,sprious featureへの依存度を低減するために,超シンプルで高速なモデル更新手法であるautomatic feature reweighting (afr)を提案する。 AFRは、標準ERM訓練ベースモデルの最後の層を重み付き損失で再訓練し、ERMモデルが予測しにくい例を強調し、グループラベルなしでマイノリティグループを自動的に重み付けする。 この簡単な手順により、いくつかの視覚および自然言語分類ベンチマークにおいて、その計算のごく一部を用いて、突発的な属性を伴わずに訓練された競合メソッドの最良の結果を改善することができる。

関連論文リスト

• Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation [3.894771553698554]
  経験的リスク最小化(ERM)モデルは、ターゲットと高い刺激的な相関を持つ属性に依存する傾向がある。 これにより、これらの属性を欠いた未表現(または'マイナー')グループのパフォーマンスを低下させることができる。 本稿では,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T08:17:44Z)
• Efficient Bias Mitigation Without Privileged Information [14.21628601482357]
  経験的リスク最小化を通じてトレーニングされたディープニューラルネットワークは、グループ間での大きなパフォーマンス格差を示すことが多い。 この問題に対処しようとする既存のバイアス軽減手法は、トレーニングや検証のためにグループラベルに依存していることが多い。 本稿では,支援者モデルのトレーニング履歴全体を活用するフレームワークであるTAB(Targeted Augmentations for Bias Mitigation)を提案する。 また,TABはグループ情報やモデル選択を使わずにグループ性能を向上し,全体の精度を維持しながら既存手法よりも優れていたことを示す。
  論文  参考訳（メタデータ） (2024-09-26T09:56:13Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Annotation-Free Group Robustness via Loss-Based Resampling [3.355491272942994]
  経験的リスク最小化による画像分類のためのニューラルネットワークのトレーニングは、予測のための因果的属性ではなく、突発的な属性に依存することに脆弱である。 トレーニングデータの小さな分割に対してERM事前学習モデルを評価することにより、データのグループ化を推測する。 水鳥とCelebAデータセットの様々なバージョンにおけるLFRの評価を行った。
  論文  参考訳（メタデータ） (2023-12-08T08:22:02Z)
• Bias Amplification Enhances Minority Group Performance [10.380812738348899]
  本稿では,新しい2段階学習アルゴリズムであるBAMを提案する。 第1段階では、各トレーニングサンプルに対して学習可能な補助変数を導入することにより、バイアス増幅方式を用いてモデルを訓練する。 第2段階では、バイアス増幅モデルが誤分類したサンプルを重み付けし、その後、再重み付けされたデータセット上で同じモデルをトレーニングし続けます。
  論文  参考訳（メタデータ） (2023-09-13T04:40:08Z)
• Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
  群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。 グループDROフレームワークをQ-Diversityを提案して再構築する。 インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
  論文  参考訳（メタデータ） (2023-05-20T07:02:27Z)
• Easy Learning from Label Proportions [17.71834385754893]
  Easyllpは、アグリゲーションラベルに基づいた、柔軟で簡単に実装可能なデバイアス方式である。 我々の手法は、任意のモデルが個々のレベルで予想される損失を正確に見積もることができる。
  論文  参考訳（メタデータ） (2023-02-06T20:41:38Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
  教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。 特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。 次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
  論文  参考訳（メタデータ） (2021-08-06T05:20:46Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。