論文の概要: An Investigation of the (In)effectiveness of Counterfactually Augmented Data

• arxiv url: http://arxiv.org/abs/2107.00753v1
• Date: Thu, 1 Jul 2021 21:46:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-05 13:04:18.450426
• Title: An Investigation of the (In)effectiveness of Counterfactually Augmented Data
• Title（参考訳）: 相反的に拡張されたデータの(in)有効性の検討
• Authors: Nitish Joshi, He He
• Abstract要約: その結果,CADは頑健な特徴を識別する上で有効であるが,頑健な特徴の学習を阻害する可能性が示唆された。 その結果、現在のCADデータセットにおける摂動多様性の欠如は、OOD一般化におけるその効果を制限していることがわかった。
• 参考スコア（独自算出の注目度）: 10.316235366821111
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While pretrained language models achieve excellent performance on natural language understanding benchmarks, they tend to rely on spurious correlations and generalize poorly to out-of-distribution (OOD) data. Recent work has explored using counterfactually-augmented data (CAD) -- data generated by minimally perturbing examples to flip the ground-truth label -- to identify robust features that are invariant under distribution shift. However, empirical results using CAD for OOD generalization have been mixed. To explain this discrepancy, we draw insights from a linear Gaussian model and demonstrate the pitfalls of CAD. Specifically, we show that (a) while CAD is effective at identifying robust features, it may prevent the model from learning unperturbed robust features, and (b) CAD may exacerbate existing spurious correlations in the data. Our results show that the lack of perturbation diversity in current CAD datasets limits its effectiveness on OOD generalization, calling for innovative crowdsourcing procedures to elicit diverse perturbation of examples.
• Abstract（参考訳）: 事前学習された言語モデルは、自然言語理解ベンチマークにおいて優れたパフォーマンスを達成するが、素早い相関に頼り、アウト・オブ・ディストリビューション(OOD)データに乏しい。 最近の研究では、分散シフト下で不変なロバストな特徴を識別するために、カウンタファクト推論データ(cad: counterfactually-augmented data)を使用して検討されている。 しかし,OOD一般化のためのCADを用いた実験結果が混在している。 この相違を説明するために、線形ガウスモデルから洞察を導き、CADの落とし穴を実証する。 特に, (a) cadはロバストな特徴の同定に有効であるが, モデルが不安定なロバストな特徴を学習することを妨げる可能性があり, (b) cadはデータ内の既存のスプリアス相関を悪化させる可能性がある。 以上の結果から,現在のcadデータセットにおける摂動多様性の欠如は,ood一般化の有効性を制限していることが明らかとなった。

関連論文リスト

• Unlock the Potential of Counterfactually-Augmented Data in Out-Of-Distribution Generalization [25.36416774024584]
  Counterfactually-Augmented Data (CAD) は、言語モデルのout-Of-Distribution (OOD) 一般化能力を改善する可能性を秘めている。 本研究では,CADにより引き起こされる近視現象の非効率性について検討した。 本稿では,CADの構造的特性に基づく2つの制約を導入し,CADのより完全な因果的特徴を抽出する言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-10T14:41:38Z)
• Improving the Out-Of-Distribution Generalization Capability of Language Models: Counterfactually-Augmented Data is not Enough [19.38778317110205]
  Counterfactually-Augmented Data (CAD) は言語モデルのout-Of-Distribution (OOD) 一般化能力を改善する可能性がある。 本稿ではCADによるMyopia Phenomenonの非効率性について述べる。 我々は、CADに含まれるより完全な因果的特徴を抽出する言語モデルを支援するために、さらに2つの制約を設計する。
  論文  参考訳（メタデータ） (2023-02-18T14:39:03Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Striving for data-model efficiency: Identifying data externalities on group performance [75.17591306911015]
  信頼できる、効果的で責任ある機械学習システムの構築は、トレーニングデータとモデリング決定の違いが、予測パフォーマンスにどのように影響するかを理解することに集中する。 我々は、特定のタイプのデータモデル非効率性に注目し、一部のソースからトレーニングデータを追加することで、集団の重要なサブグループで評価されるパフォーマンスを実際に低下させることができる。 以上の結果から,データ効率が正確かつ信頼性の高い機械学習の鍵となることが示唆された。
  論文  参考訳（メタデータ） (2022-11-11T16:48:27Z)
• How robust are pre-trained models to distribution shift? [82.08946007821184]
  自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。 本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
  論文  参考訳（メタデータ） (2022-06-17T16:18:28Z)
• Counterfactually Augmented Data and Unintended Bias: The Case of Sexism and Hate Speech Detection [35.29235215101502]
  コア機能を過度に参照すると、意図しないモデルバイアスが発生する可能性がある。 我々は、挑戦的なデータに基づいて性差別とヘイトスピーチ検出のモデルをテストする。 構成駆動で構成に依存しない、さまざまなCADセットを使用することで、意図しないバイアスを減らします。
  論文  参考訳（メタデータ） (2022-05-09T12:39:26Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• How Does Counterfactually Augmented Data Impact Models for Social Computing Constructs? [35.29235215101502]
  本研究では、感情、性差別、ヘイトスピーチという3つのソーシャル・コンピューティング構造に着目し、社会的NLPモデルに対する反実的強化データ(CAD)の利点について検討する。 CADでトレーニングしたモデルではドメイン内性能が低下するが、ドメイン外性能は向上する。
  論文  参考訳（メタデータ） (2021-09-14T23:46:39Z)
• Identification of Latent Variables From Graphical Model Residuals [0.0]
  本稿では,推定モデルの残差から遅延空間のプロキシを反復的に導出することにより,DAGを推定する際に潜伏空間を制御する新しい手法を提案する。 結果の予測の改善は本質的にカプセル化されており,既成モデルと比較して一定の限界を超えないことを示す。
  論文  参考訳（メタデータ） (2021-01-07T02:28:49Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。