論文の概要: Examining and Combating Spurious Features under Distribution Shift
- arxiv url: http://arxiv.org/abs/2106.07171v1
- Date: Mon, 14 Jun 2021 05:39:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-15 16:29:25.627139
- Title: Examining and Combating Spurious Features under Distribution Shift
- Title（参考訳）: 配電シフト下におけるスプリアスの特徴の検証と対策
- Authors: Chunting Zhou, Xuezhe Ma, Paul Michel, Graham Neubig
- Abstract要約: 我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
- 参考スコア（独自算出の注目度）: 94.31956965507085
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A central goal of machine learning is to learn robust representations that
capture the causal relationship between inputs features and output labels.
However, minimizing empirical risk over finite or biased datasets often results
in models latching on to spurious correlations between the training
input/output pairs that are not fundamental to the problem at hand. In this
paper, we define and analyze robust and spurious representations using the
information-theoretic concept of minimal sufficient statistics. We prove that
even when there is only bias of the input distribution (i.e. covariate shift),
models can still pick up spurious features from their training data. Group
distributionally robust optimization (DRO) provides an effective tool to
alleviate covariate shift by minimizing the worst-case training loss over a set
of pre-defined groups. Inspired by our analysis, we demonstrate that group DRO
can fail when groups do not directly account for various spurious correlations
that occur in the data. To address this, we further propose to minimize the
worst-case losses over a more flexible set of distributions that are defined on
the joint distribution of groups and instances, instead of treating each group
as a whole at optimization time. Through extensive experiments on one image and
two language tasks, we show that our model is significantly more robust than
comparable baselines under various partitions. Our code is available at
https://github.com/violet-zct/group-conditional-DRO.
- Abstract（参考訳）: 機械学習の主な目標は、入力特徴と出力ラベルの間の因果関係をキャプチャする堅牢な表現を学習することである。
しかし、有限または偏りのあるデータセットに対する経験的リスクを最小化することは、しばしば、問題に基礎的でないトレーニングの入出力ペア間の相関を分散させるモデルをもたらす。
本稿では,最小限の統計量の情報理論的概念を用いて,ロバスト表現とスプリアス表現を定義し,解析する。
入力分布(すなわち、入力分布)のバイアスしか存在しない場合でも、我々は証明する。
covariate shift)モデルでは、トレーニングデータからスプリアスな特徴を拾うことができる。
群分散ロバスト最適化(DRO)は、一組の事前定義されたグループに対する最悪のトレーニング損失を最小限に抑えることで、共変量シフトを軽減する効果的なツールを提供する。
我々の分析から着想を得た結果、グループDROは、データに発生する様々な突発的相関を直接考慮しない場合に失敗することを示した。
これを解決するために、最適化時に各グループ全体を扱うのではなく、グループとインスタンスの合同分布で定義されるより柔軟な分布の集合に対する最悪の損失を最小限に抑えることを提案する。
1つの画像と2つの言語タスクに関する広範な実験を通じて、我々のモデルは様々な分割の下で同等のベースラインよりもかなり堅牢であることを示した。
私たちのコードはhttps://github.com/violet-zct/group-conditional-DROで公開しています。
関連論文リスト
- Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation [3.894771553698554]
経験的リスク最小化(ERM)モデルは、ターゲットと高い刺激的な相関を持つ属性に依存する傾向がある。
これにより、これらの属性を欠いた未表現(または'マイナー')グループのパフォーマンスを低下させることができる。
本稿では,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
論文 参考訳（メタデータ） (2024-10-07T08:17:44Z) - Efficient Bias Mitigation Without Privileged Information [14.21628601482357]
経験的リスク最小化を通じてトレーニングされたディープニューラルネットワークは、グループ間での大きなパフォーマンス格差を示すことが多い。
この問題に対処しようとする既存のバイアス軽減手法は、トレーニングや検証のためにグループラベルに依存していることが多い。
本稿では,支援者モデルのトレーニング履歴全体を活用するフレームワークであるTAB(Targeted Augmentations for Bias Mitigation)を提案する。
また,TABはグループ情報やモデル選択を使わずにグループ性能を向上し,全体の精度を維持しながら既存手法よりも優れていたことを示す。
論文 参考訳（メタデータ） (2024-09-26T09:56:13Z) - Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-11T13:44:49Z) - Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。
グループDROフレームワークをQ-Diversityを提案して再構築する。
インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
論文 参考訳（メタデータ） (2023-05-20T07:02:27Z) - Bitrate-Constrained DRO: Beyond Worst Case Robustness To Unknown Group
Shifts [122.08782633878788]
いくつかの堅牢なトレーニングアルゴリズム(例えば、グループDRO)は、グループシフトを専門とし、すべてのトレーニングポイントについてグループ情報を必要とする。
グループアノテーションを必要としない他の方法(CVaR DROなど)は、過度に保守的である。
低機能により実現された単純な群関数の精度を維持するモデルを学習する。
論文 参考訳（メタデータ） (2023-02-06T17:07:16Z) - Take One Gram of Neural Features, Get Enhanced Group Robustness [23.541213868620837]
経験的リスク最小化で訓練された機械学習モデルの予測性能は、分散シフト下で大幅に低下する可能性がある。
本稿では,識別モデルの抽出した特徴の文法行列に基づいて,トレーニングデータセットをグループに分割する。
このアプローチは、ERMに対するグループロバスト性を向上するだけでなく、最近のすべてのベースラインを上回ります。
論文 参考訳（メタデータ） (2022-08-26T12:34:55Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - Towards Group Robustness in the presence of Partial Group Labels [61.33713547766866]
入力サンプルとターゲットラベルの間に 急激な相関関係がある ニューラルネットワークの予測を誤った方向に導く
本稿では,制約セットから最悪のグループ割り当てを最適化するアルゴリズムを提案する。
グループ間で総合的な集計精度を維持しつつ,少数集団のパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2022-01-10T22:04:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。