論文の概要: Curriculum-enhanced GroupDRO: Challenging the Norm of Avoiding Curriculum Learning in Subpopulation Shift Setups

• arxiv url: http://arxiv.org/abs/2411.15272v1
• Date: Fri, 22 Nov 2024 13:38:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:23:20.072423
• Title: Curriculum-enhanced GroupDRO: Challenging the Norm of Avoiding Curriculum Learning in Subpopulation Shift Setups
• Title（参考訳）: カリキュラム強化グループDRO:サブ集団シフトにおけるカリキュラム学習のノームを満たす
• Authors: Antonio Barbalau,
• Abstract要約: サブポピュレーションシフトのシナリオでは、Curriculum Learning (CL)アプローチはモデルの重み付けを早期にインプリントするだけであり、容易に学習可能なスプリアス相関を持つ。 本稿では,最も難しいバイアス確認サンプルと最も簡単なバイアス強調サンプルを優先する,CeGDRO(Curriculum-enhanced Group Distributionally Robust Optimization)アプローチを提案する。
• 参考スコア（独自算出の注目度）: 2.719510212909501
• License:
• Abstract: In subpopulation shift scenarios, a Curriculum Learning (CL) approach would only serve to imprint the model weights, early on, with the easily learnable spurious correlations featured. To the best of our knowledge, none of the current state-of-the-art subpopulation shift approaches employ any kind of curriculum. To overcome this, we design a CL approach aimed at initializing the model weights in an unbiased vantage point in the hypothesis space which sabotages easy convergence towards biased hypotheses during the final optimization based on the entirety of the available data. We hereby propose a Curriculum-enhanced Group Distributionally Robust Optimization (CeGDRO) approach, which prioritizes the hardest bias-confirming samples and the easiest bias-conflicting samples, leveraging GroupDRO to balance the initial discrepancy in terms of difficulty. We benchmark our proposed method against the most popular subpopulation shift datasets, showing an increase over the state-of-the-art results across all scenarios, up to 6.2% on Waterbirds.
• Abstract（参考訳）: サブポピュレーションシフトのシナリオでは、Curriculum Learning (CL)アプローチはモデルの重み付けを早期にインプリントするだけであり、容易に学習可能なスプリアス相関が特徴である。 私たちの知る限りでは、現在の最先端のサブ人口シフトアプローチでは、いかなるカリキュラムも採用していません。 そこで我々は, モデル重み付けを仮説空間の偏りのないベクトル点に初期化することを目的としたCLアプローチを設計し, 得られたデータ全体に基づいた最終最適化において, 偏りのある仮説への収束を容易に妨害する。 本稿では,最強バイアス確認サンプルと最も簡単なバイアス強調サンプルを優先し,グループDROを用いて初期誤差のバランスをとるCeGDRO手法を提案する。 提案手法を最も一般的なサブポピュレーションシフトデータセットに対してベンチマークし、ウォーターバードの6.2%まで、すべてのシナリオにおける最先端結果の増加を示す。

関連論文リスト

• Mind the GAP: Improving Robustness to Subpopulation Shifts with Group-Aware Priors [46.03963664373476]
  我々は、サブポピュレーションシフトの下でよく一般化するモデルを明示的に好むニューラルネットワークパラメータ上で、GAP(group-aware prior)分布のファミリーを開発する。 我々は、以前トレーニングされた非ロバストモデルの最終層のみをトレーニングしても、GAPによるトレーニングが最先端のパフォーマンスをもたらすことを実証する。
  論文  参考訳（メタデータ） (2024-03-14T21:00:26Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Group Robust Classification Without Any Group Information [5.053622900542495]
  この研究は、グループロバストネスに対する現在のバイアス非教師アプローチが、最適なパフォーマンスを達成するためにグループ情報に依存し続けていることを主張する。 バイアスラベルは依然として効果的なモデル選択に不可欠であり、現実のシナリオにおけるこれらの手法の実用性を制限する。 本稿では, 偏りのないモデルに対して, 完全にバイアスのない方法でトレーニングし, 妥当性を検証するための改訂手法を提案する。
  論文  参考訳（メタデータ） (2023-10-28T01:29:18Z)
• Improving Generalization of Alignment with Human Preferences through Group Invariant Learning [56.19242260613749]
  Reinforcement Learning from Human Feedback (RLHF) は、人間の好みに合わせた反応の生成を可能にする。 以前の研究は、強化学習(RL)がしばしばショートカットを利用して高い報酬を獲得し、挑戦的なサンプルを見落としていることを示している。 本稿では,複数のデータグループやドメインにまたがる一貫したポリシをRLで学習する,新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-18T13:54:15Z)
• Bias Amplification Enhances Minority Group Performance [10.380812738348899]
  本稿では,新しい2段階学習アルゴリズムであるBAMを提案する。 第1段階では、各トレーニングサンプルに対して学習可能な補助変数を導入することにより、バイアス増幅方式を用いてモデルを訓練する。 第2段階では、バイアス増幅モデルが誤分類したサンプルを重み付けし、その後、再重み付けされたデータセット上で同じモデルをトレーニングし続けます。
  論文  参考訳（メタデータ） (2023-09-13T04:40:08Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
  群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。 グループDROフレームワークをQ-Diversityを提案して再構築する。 インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
  論文  参考訳（メタデータ） (2023-05-20T07:02:27Z)
• Ranking & Reweighting Improves Group Distributional Robustness [14.021069321266516]
  本研究では,DRU(Discounted Rank Upweighting)と呼ばれるランキングベースのトレーニング手法を提案し,テストデータ上で強力なOOD性能を示すモデルを学習する。 いくつかの合成および実世界のデータセットの結果は、群分布シフトに頑健なモデルの選択と学習において、グループレベルの(ソフトミニマックスと異なり)アプローチの優れた能力を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-05-09T20:37:16Z)
• Proposal Distribution Calibration for Few-Shot Object Detection [65.19808035019031]
  few-shot object detection (FSOD)では、重度のサンプル不均衡を軽減するために、2段階の訓練パラダイムが広く採用されている。 残念ながら、極端なデータ不足は、提案の分布バイアスを増大させ、RoIヘッドが新しいクラスに進化するのを妨げます。 本稿では,RoIヘッドのローカライゼーションと分類能力を高めるために,単純かつ効果的な提案分布キャリブレーション(PDC)手法を提案する。
  論文  参考訳（メタデータ） (2022-12-15T05:09:11Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。