論文の概要: An Investigation of the (In)effectiveness of Counterfactually Augmented Data

• arxiv url: http://arxiv.org/abs/2107.00753v1
• Date: Thu, 1 Jul 2021 21:46:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-05 13:04:18.450426
• Title: An Investigation of the (In)effectiveness of Counterfactually Augmented Data
• Title（参考訳）: 相反的に拡張されたデータの(in)有効性の検討
• Authors: Nitish Joshi, He He
• Abstract要約: その結果,CADは頑健な特徴を識別する上で有効であるが,頑健な特徴の学習を阻害する可能性が示唆された。 その結果、現在のCADデータセットにおける摂動多様性の欠如は、OOD一般化におけるその効果を制限していることがわかった。
• 参考スコア（独自算出の注目度）: 10.316235366821111
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While pretrained language models achieve excellent performance on natural language understanding benchmarks, they tend to rely on spurious correlations and generalize poorly to out-of-distribution (OOD) data. Recent work has explored using counterfactually-augmented data (CAD) -- data generated by minimally perturbing examples to flip the ground-truth label -- to identify robust features that are invariant under distribution shift. However, empirical results using CAD for OOD generalization have been mixed. To explain this discrepancy, we draw insights from a linear Gaussian model and demonstrate the pitfalls of CAD. Specifically, we show that (a) while CAD is effective at identifying robust features, it may prevent the model from learning unperturbed robust features, and (b) CAD may exacerbate existing spurious correlations in the data. Our results show that the lack of perturbation diversity in current CAD datasets limits its effectiveness on OOD generalization, calling for innovative crowdsourcing procedures to elicit diverse perturbation of examples.
• Abstract（参考訳）: 事前学習された言語モデルは、自然言語理解ベンチマークにおいて優れたパフォーマンスを達成するが、素早い相関に頼り、アウト・オブ・ディストリビューション(OOD)データに乏しい。 最近の研究では、分散シフト下で不変なロバストな特徴を識別するために、カウンタファクト推論データ(cad: counterfactually-augmented data)を使用して検討されている。 しかし,OOD一般化のためのCADを用いた実験結果が混在している。 この相違を説明するために、線形ガウスモデルから洞察を導き、CADの落とし穴を実証する。 特に, (a) cadはロバストな特徴の同定に有効であるが, モデルが不安定なロバストな特徴を学習することを妨げる可能性があり, (b) cadはデータ内の既存のスプリアス相関を悪化させる可能性がある。 以上の結果から,現在のcadデータセットにおける摂動多様性の欠如は,ood一般化の有効性を制限していることが明らかとなった。

関連論文リスト

• HGOE: Hybrid External and Internal Graph Outlier Exposure for Graph Out-of-Distribution Detection [78.47008997035158]
  グラフデータはより多様性を示すが、摂動に対する堅牢性は低く、外れ値の統合を複雑にする。 我々は、グラフOOD検出性能を改善するために、textbfHybrid外部および内部の textbfGraph textbfOutlier textbfExposure (HGOE) の導入を提案する。
  論文  参考訳（メタデータ） (2024-07-31T16:55:18Z)
• Accuracy on the wrong line: On the pitfalls of noisy data for out-of-distribution generalisation [70.36344590967519]
  ノイズの多いデータやニュアンスの特徴は,その正確さを損なうのに十分であることを示す。 ノイズの多いデータとノイズのある特徴を持つ合成データセットと実データセットの両方で、この現象を実証する。
  論文  参考訳（メタデータ） (2024-06-27T09:57:31Z)
• PairCFR: Enhancing Model Training on Paired Counterfactually Augmented Data through Contrastive Learning [49.60634126342945]
  Counterfactually Augmented Data (CAD)は、既存のデータサンプルのラベルを他のクラスに戻すのに、最小限かつ十分な修正を適用することで、新しいデータサンプルを作成する。 近年の研究では、CADを用いたトレーニングが、他の重要な文脈情報を無視しながら、モデルが修正機能に過度にフォーカスする可能性があることが示されている。 我々は、対実的手がかりの学習に加えて、グローバルな特徴アライメントを促進するために、対照的な学習を採用する。
  論文  参考訳（メタデータ） (2024-06-09T07:29:55Z)
• Unlock the Potential of Counterfactually-Augmented Data in Out-Of-Distribution Generalization [25.36416774024584]
  Counterfactually-Augmented Data (CAD) は、言語モデルのout-Of-Distribution (OOD) 一般化能力を改善する可能性を秘めている。 本研究では,CADにより引き起こされる近視現象の非効率性について検討した。 本稿では,CADの構造的特性に基づく2つの制約を導入し,CADのより完全な因果的特徴を抽出する言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-10T14:41:38Z)
• Graph Structure and Feature Extrapolation for Out-of-Distribution Generalization [54.64375566326931]
  アウト・オブ・ディストリビューション(OOD)の一般化は、テスト分布がトレーニング分布からシフトする一般的な学習シナリオを扱う。 我々は,非ユークリッド空間線型補間の新しい設計により,グラフOOD一般化を実現することを提案する。 我々の設計は、根底にある因果機構を損なうことなく、OODサンプルを特定のシフトのために調整する。
  論文  参考訳（メタデータ） (2023-06-13T18:46:28Z)
• Improving the Out-Of-Distribution Generalization Capability of Language Models: Counterfactually-Augmented Data is not Enough [19.38778317110205]
  Counterfactually-Augmented Data (CAD) は言語モデルのout-Of-Distribution (OOD) 一般化能力を改善する可能性がある。 本稿ではCADによるMyopia Phenomenonの非効率性について述べる。 我々は、CADに含まれるより完全な因果的特徴を抽出する言語モデルを支援するために、さらに2つの制約を設計する。
  論文  参考訳（メタデータ） (2023-02-18T14:39:03Z)
• How robust are pre-trained models to distribution shift? [82.08946007821184]
  自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。 本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
  論文  参考訳（メタデータ） (2022-06-17T16:18:28Z)
• Counterfactually Augmented Data and Unintended Bias: The Case of Sexism and Hate Speech Detection [35.29235215101502]
  コア機能を過度に参照すると、意図しないモデルバイアスが発生する可能性がある。 我々は、挑戦的なデータに基づいて性差別とヘイトスピーチ検出のモデルをテストする。 構成駆動で構成に依存しない、さまざまなCADセットを使用することで、意図しないバイアスを減らします。
  論文  参考訳（メタデータ） (2022-05-09T12:39:26Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• How Does Counterfactually Augmented Data Impact Models for Social Computing Constructs? [35.29235215101502]
  本研究では、感情、性差別、ヘイトスピーチという3つのソーシャル・コンピューティング構造に着目し、社会的NLPモデルに対する反実的強化データ(CAD)の利点について検討する。 CADでトレーニングしたモデルではドメイン内性能が低下するが、ドメイン外性能は向上する。
  論文  参考訳（メタデータ） (2021-09-14T23:46:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。