論文の概要: Improving the Out-Of-Distribution Generalization Capability of Language Models: Counterfactually-Augmented Data is not Enough

• arxiv url: http://arxiv.org/abs/2302.09345v1
• Date: Sat, 18 Feb 2023 14:39:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 19:03:53.601325
• Title: Improving the Out-Of-Distribution Generalization Capability of Language Models: Counterfactually-Augmented Data is not Enough
• Title（参考訳）: 言語モデルのアウトオブディストリビューション一般化能力の改善: 反事実的データだけでは不十分
• Authors: Caoyun Fan, Wenqing Chen, Jidong Tian, Yitian Li, Hao He, Yaohui Jin
• Abstract要約: Counterfactually-Augmented Data (CAD) は言語モデルのout-Of-Distribution (OOD) 一般化能力を改善する可能性がある。 本稿ではCADによるMyopia Phenomenonの非効率性について述べる。 我々は、CADに含まれるより完全な因果的特徴を抽出する言語モデルを支援するために、さらに2つの制約を設計する。
• 参考スコア（独自算出の注目度）: 19.38778317110205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Counterfactually-Augmented Data (CAD) has the potential to improve language models' Out-Of-Distribution (OOD) generalization capability, as CAD induces language models to exploit causal features and exclude spurious correlations. However, the empirical results of OOD generalization on CAD are not as efficient as expected. In this paper, we attribute the inefficiency to Myopia Phenomenon caused by CAD: language models only focus on causal features that are edited in the augmentation and exclude other non-edited causal features. As a result, the potential of CAD is not fully exploited. Based on the structural properties of CAD, we design two additional constraints to help language models extract more complete causal features contained in CAD, thus improving the OOD generalization capability. We evaluate our method on two tasks: Sentiment Analysis and Natural Language Inference, and the experimental results demonstrate that our method could unlock CAD's potential and improve language models' OOD generalization capability.
• Abstract（参考訳）: CADは言語モデルに因果的特徴を利用するよう誘導し、刺激的な相関を排除し、言語モデルのout-Of-Distribution(OOD)一般化能力を改善する可能性がある。 しかし,cadにおけるood一般化の結果は,期待したほど効率的ではない。 本稿では,CADによるMyopia Phenomenonの非効率性について述べる。言語モデルでは,拡張時に編集された因果的特徴のみに着目し,他の非編集因果的特徴を除外する。 その結果、CADの可能性は完全には活用されない。 CADの構造特性に基づいて、CADに含まれるより完全な因果的特徴を抽出する言語モデルのための2つの制約を設計し、OOD一般化能力を向上させる。 感性分析と自然言語推論の2つのタスクにおいて本手法の評価を行い,本手法がCADの可能性を解き明かし,言語モデルのOOD一般化能力を向上させることを実証した。

関連論文リスト

• PairCFR: Enhancing Model Training on Paired Counterfactually Augmented Data through Contrastive Learning [49.60634126342945]
  Counterfactually Augmented Data (CAD)は、既存のデータサンプルのラベルを他のクラスに戻すのに、最小限かつ十分な修正を適用することで、新しいデータサンプルを作成する。 近年の研究では、CADを用いたトレーニングが、他の重要な文脈情報を無視しながら、モデルが修正機能に過度にフォーカスする可能性があることが示されている。 我々は、対実的手がかりの学習に加えて、グローバルな特徴アライメントを促進するために、対照的な学習を採用する。
  論文  参考訳（メタデータ） (2024-06-09T07:29:55Z)
• Zero-Shot Cross-Lingual Sentiment Classification under Distribution Shift: an Exploratory Study [11.299638372051795]
  我々は、ゼロショットの言語間転送設定において、out-of-distriion(OOD)テストデータへの一般化について研究する。 我々は、トレインデータとテストデータ間の言語とドメインのシフトによるパフォーマンスへの影響を分析する。 我々は,コストのかかるアノテーションプロセスを避けるため,OOD一般化のための2つの新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-11T11:56:56Z)
• Unlock the Potential of Counterfactually-Augmented Data in Out-Of-Distribution Generalization [25.36416774024584]
  Counterfactually-Augmented Data (CAD) は、言語モデルのout-Of-Distribution (OOD) 一般化能力を改善する可能性を秘めている。 本研究では,CADにより引き起こされる近視現象の非効率性について検討した。 本稿では,CADの構造的特性に基づく2つの制約を導入し,CADのより完全な因果的特徴を抽出する言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-10T14:41:38Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• How to Handle Different Types of Out-of-Distribution Scenarios in Computational Argumentation? A Comprehensive and Fine-Grained Field Study [59.13867562744973]
  この研究は、オフ・オブ・ディストリビューション(OOD)シナリオにおけるLMの能力を体系的に評価する。 このような学習パラダイムの有効性は,OODの種類によって異なることがわかった。 具体的には、ICLはドメインシフトに優れているが、プロンプトベースの微調整はトピックシフトに勝っている。
  論文  参考訳（メタデータ） (2023-09-15T11:15:47Z)
• AutoCAD: Automatically Generating Counterfactuals for Mitigating Shortcut Learning [70.70393006697383]
  完全自動かつタスクに依存しないCAD生成フレームワークであるAutoCADについて述べる。 本稿では,完全に自動化されたタスクに依存しないCAD生成フレームワークであるAutoCADを提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:39:53Z)
• Counterfactually Augmented Data and Unintended Bias: The Case of Sexism and Hate Speech Detection [35.29235215101502]
  コア機能を過度に参照すると、意図しないモデルバイアスが発生する可能性がある。 我々は、挑戦的なデータに基づいて性差別とヘイトスピーチ検出のモデルをテストする。 構成駆動で構成に依存しない、さまざまなCADセットを使用することで、意図しないバイアスを減らします。
  論文  参考訳（メタデータ） (2022-05-09T12:39:26Z)
• Examining Scaling and Transfer of Language Model Architectures for Machine Translation [51.69212730675345]
  言語モデル(LM)は単一のレイヤのスタックで処理し、エンコーダ・デコーダモデル(EncDec)は入力と出力の処理に別々のレイヤスタックを使用する。 機械翻訳において、EncDecは長年好まれてきたアプローチであるが、LMの性能についての研究はほとんどない。
  論文  参考訳（メタデータ） (2022-02-01T16:20:15Z)
• How Does Counterfactually Augmented Data Impact Models for Social Computing Constructs? [35.29235215101502]
  本研究では、感情、性差別、ヘイトスピーチという3つのソーシャル・コンピューティング構造に着目し、社会的NLPモデルに対する反実的強化データ(CAD)の利点について検討する。 CADでトレーニングしたモデルではドメイン内性能が低下するが、ドメイン外性能は向上する。
  論文  参考訳（メタデータ） (2021-09-14T23:46:39Z)
• An Investigation of the (In)effectiveness of Counterfactually Augmented Data [10.316235366821111]
  その結果,CADは頑健な特徴を識別する上で有効であるが,頑健な特徴の学習を阻害する可能性が示唆された。 その結果、現在のCADデータセットにおける摂動多様性の欠如は、OOD一般化におけるその効果を制限していることがわかった。
  論文  参考訳（メタデータ） (2021-07-01T21:46:43Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。