論文の概要: General Greedy De-bias Learning

• arxiv url: http://arxiv.org/abs/2112.10572v2
• Date: Tue, 21 Dec 2021 04:32:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-22 11:26:39.328365
• Title: General Greedy De-bias Learning
• Title（参考訳）: 一般的な欲望のデバイアス学習
• Authors: Xinzhe Han, Shuhui Wang, Chi Su, Qingming Huang, Qi Tian
• Abstract要約: 本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
• 参考スコア（独自算出の注目度）: 163.65789778416172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks often make predictions relying on the spurious correlations from the datasets rather than the intrinsic properties of the task of interest, facing sharp degradation on out-of-distribution (OOD) test data. Existing de-bias learning frameworks try to capture specific dataset bias by bias annotations, they fail to handle complicated OOD scenarios. Others implicitly identify the dataset bias by the special design on the low capability biased model or the loss, but they degrade when the training and testing data are from the same distribution. In this paper, we propose a General Greedy De-bias learning framework (GGD), which greedily trains the biased models and the base model like gradient descent in functional space. It encourages the base model to focus on examples that are hard to solve with biased models, thus remaining robust against spurious correlations in the test stage. GGD largely improves models' OOD generalization ability on various tasks, but sometimes over-estimates the bias level and degrades on the in-distribution test. We further re-analyze the ensemble process of GGD and introduce the Curriculum Regularization into GGD inspired by curriculum learning, which achieves a good trade-off between in-distribution and out-of-distribution performance. Extensive experiments on image classification, adversarial question answering, and visual question answering demonstrate the effectiveness of our method. GGD can learn a more robust base model under the settings of both task-specific biased models with prior knowledge and self-ensemble biased model without prior knowledge.
• Abstract（参考訳）: ニューラルネットワークは、しばしば、関心のあるタスクの固有の特性ではなく、データセットからのスプリアス相関に依存する予測を行い、out-of-distribution(ood)テストデータで顕著に劣化する。 既存のデバイアス学習フレームワークは、バイアスアノテーションによって特定のデータセットバイアスをキャプチャしようとするが、複雑なOODシナリオを処理できない。 他の人たちは、低能力バイアスモデルや損失に関する特別な設計によってデータセットのバイアスを暗黙的に識別するが、トレーニングとテストのデータを同じディストリビューションから削除する。 本稿では,関数空間における勾配勾配のように,偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 バイアスのあるモデルでは解決が難しい例にベースモデルを集中させることが推奨されるため、テスト段階では急激な相関に対して堅牢なままである。 GGDは様々なタスクにおけるモデルのOOD一般化能力を大幅に改善するが、時にはバイアスレベルを過大評価し、分散テストで劣化させる。 さらに、ggdのアンサンブルプロセスを再度分析し、カリキュラム学習にインスパイアされたggdにカリキュラム正規化を導入することにより、配信内と配信外のパフォーマンスとの良好なトレードオフを実現する。 画像分類, 逆質問応答, 視覚的質問応答に関する広範な実験により, 本手法の有効性が示された。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己集合バイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。

関連論文リスト

• DIVE: Subgraph Disagreement for Graph Out-of-Distribution Generalization [44.291382840373]
  本稿では,グラフ機械学習におけるアウト・オブ・ディストリビューションの一般化の課題に対処する。 従来のグラフ学習アルゴリズムは、この仮定が失敗する現実世界のシナリオで失敗する。 この準最適性能に寄与する主な要因は、ニューラルネットワークの本質的な単純さバイアスである。
  論文  参考訳（メタデータ） (2024-08-08T12:08:55Z)
• Improving Bias Mitigation through Bias Experts in Natural Language Understanding [10.363406065066538]
  補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。 提案手法は補助モデルのバイアス識別能力を向上させる。
  論文  参考訳（メタデータ） (2023-12-06T16:15:00Z)
• Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
  各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。 提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。 我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-14T13:56:24Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Learning Debiased Models with Dynamic Gradient Alignment and Bias-conflicting Sample Mining [39.00256193731365]
  ディープニューラルネットワークは、堅牢性、一般化、公正性をモデル化するのに有害なデータセットバイアスに悩まされている。 難解な未知のバイアスと戦うための2段階のデバイアス方式を提案する。
  論文  参考訳（メタデータ） (2021-11-25T14:50:10Z)
• Greedy Gradient Ensemble for Robust Visual Question Answering [163.65789778416172]
  VQA(Visual Question Answering)では、分布バイアスとショートカットバイアスという2つの側面から生じる言語バイアスを強調している。 本稿では,非バイアスベースモデル学習に複数のバイアスモデルを組み合わせた新しいデバイアスフレームワークGreedy Gradient Ensemble(GGE)を提案する。 GGEはバイアス付きモデルを優先的にバイアス付きデータ分布に過度に適合させ、バイアス付きモデルでは解決が難しい例にベースモデルがより注意を払う。
  論文  参考訳（メタデータ） (2021-07-27T08:02:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。