論文の概要: Adversarial Filters of Dataset Biases

• arxiv url: http://arxiv.org/abs/2002.04108v3
• Date: Sat, 11 Jul 2020 00:44:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 07:13:08.561211
• Title: Adversarial Filters of Dataset Biases
• Title（参考訳）: データセットバイアスの逆フィルタ
• Authors: Ronan Le Bras, Swabha Swayamdipta, Chandra Bhagavatula, Rowan Zellers, Matthew E. Peters, Ashish Sabharwal, Yejin Choi
• Abstract要約: 大規模なニューラルモデルでは、言語とビジョンベンチマークで人間レベルのパフォーマンスが実証されている。 それらの性能は、敵対的またはアウト・オブ・ディストリビューションのサンプルで著しく低下する。 このようなデータセットバイアスを逆フィルタするAFLiteを提案する。
• 参考スコア（独自算出の注目度）: 96.090959788952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large neural models have demonstrated human-level performance on language and vision benchmarks, while their performance degrades considerably on adversarial or out-of-distribution samples. This raises the question of whether these models have learned to solve a dataset rather than the underlying task by overfitting to spurious dataset biases. We investigate one recently proposed approach, AFLite, which adversarially filters such dataset biases, as a means to mitigate the prevalent overestimation of machine performance. We provide a theoretical understanding for AFLite, by situating it in the generalized framework for optimum bias reduction. We present extensive supporting evidence that AFLite is broadly applicable for reduction of measurable dataset biases, and that models trained on the filtered datasets yield better generalization to out-of-distribution tasks. Finally, filtering results in a large drop in model performance (e.g., from 92% to 62% for SNLI), while human performance still remains high. Our work thus shows that such filtered datasets can pose new research challenges for robust generalization by serving as upgraded benchmarks.
• Abstract（参考訳）: 大規模なニューラルモデルは、言語とビジョンのベンチマークで人間レベルのパフォーマンスを示し、そのパフォーマンスは、敵対的またはアウト・オブ・ディストリビューションのサンプルで著しく低下している。 これは、これらのモデルがデータセットのバイアスを分散させることで、基礎となるタスクよりもむしろデータセットの解決を学んだかどうかという疑問を提起する。 近年提案されているアプローチであるafliteは,機械性能の過大評価を緩和する手段として,このようなデータセットバイアスを逆フィルタする手法である。 我々は, aflite の最適バイアス低減のための一般化フレームワークにおいて, aflite の理論的理解を提供する。 afliteが測定可能なデータセットバイアスの低減に広く適用可能であること、フィルタされたデータセットでトレーニングされたモデルが分散タスクへのより良い一般化をもたらすことの広範な裏付けを示す。 最後に、フィルタリングによってモデル性能が大幅に低下する(SNLIでは92%から62%)一方で、人間のパフォーマンスは依然として高いままである。 そこで本研究では,このようなフィルタされたデータセットが,ベンチマークをアップグレードすることで,堅牢な一般化のための新たな研究課題を提起できることを示す。

関連論文リスト

• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [56.24431208419858]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Fighting Bias with Bias: Promoting Model Robustness by Amplifying Dataset Biases [5.997909991352044]
  最近の研究は、トレーニングセットからバイアスのあるサンプルをフィルタリングすることで、頑健でバイアスのないモデルを開発することを試みた。 このようなフィルタリングは、バイアスを克服するモデルの真の能力を曖昧にする可能性がある、と私たちは主張する。 バイアス増幅トレーニングセットとバイアス防止テストセットで定義された評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2023-05-30T10:10:42Z)
• CausalAPM: Generalizable Literal Disentanglement for NLU Debiasing [47.129713744669075]
  我々は因果推論の観点からデータセットバイアスの原因を分析する。 本稿では,特徴の粒度からバイアス問題を改善するために,一般化可能なリテラル分離フレームワークCausalAPMを提案する。
  論文  参考訳（メタデータ） (2023-05-04T14:22:26Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Generating Data to Mitigate Spurious Correlations in Natural Language Inference Datasets [27.562256973255728]
  自然言語処理モデルはしばしば、タスクに依存しない特徴とデータセットのラベルの間の急激な相関を利用して、トレーニング対象のディストリビューション内でのみうまく機能する。 そこで本研究では, 脱バイアス化したデータセットを生成して, 脱バイアス化したオフザシェルフモデルをトレーニングする手法を提案する。 提案手法は,1)高品質なラベル一貫性のあるデータサンプルを生成するためのデータジェネレータの訓練方法,2)素粒子相関に寄与するデータ点を除去するフィルタリング機構から構成される。
  論文  参考訳（メタデータ） (2022-03-24T09:08:05Z)
• MAIN: Multihead-Attention Imputation Networks [4.427447378048202]
  本稿では,任意のモデルに適用可能なマルチヘッドアテンションに基づく新しいメカニズムを提案する。 提案手法は、下流タスクの性能を向上させるために、入力データの欠落パターンを誘導的にモデル化する。
  論文  参考訳（メタデータ） (2021-02-10T13:50:02Z)
• Negative Data Augmentation [127.28042046152954]
  負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。 我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。 実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
  論文  参考訳（メタデータ） (2021-02-09T20:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。