Fugu-MT 論文翻訳(概要): Unlock the Potential of Counterfactually-Augmented Data in Out-Of-Distribution Generalization

論文の概要: Unlock the Potential of Counterfactually-Augmented Data in Out-Of-Distribution Generalization

arxiv url: http://arxiv.org/abs/2310.06666v1
Date: Tue, 10 Oct 2023 14:41:38 GMT
ステータス: 処理完了
システム内更新日: 2023-10-11 15:06:54.842779
Title: Unlock the Potential of Counterfactually-Augmented Data in Out-Of-Distribution Generalization
Title（参考訳）: Out-Of-Distribution Generalizationにおける非実効的データの可能性
Authors: Caoyun Fan, Wenqing Chen, Jidong Tian, Yitian Li, Hao He, Yaohui Jin
Abstract要約: Counterfactually-Augmented Data (CAD) は、言語モデルのout-Of-Distribution (OOD) 一般化能力を改善する可能性を秘めている。本研究では,CADにより引き起こされる近視現象の非効率性について検討した。本稿では,CADの構造的特性に基づく2つの制約を導入し,CADのより完全な因果的特徴を抽出する言語モデルを提案する。
参考スコア（独自算出の注目度）: 25.36416774024584
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Counterfactually-Augmented Data (CAD) -- minimal editing of sentences to flip the corresponding labels -- has the potential to improve the Out-Of-Distribution (OOD) generalization capability of language models, as CAD induces language models to exploit domain-independent causal features and exclude spurious correlations. However, the empirical results of CAD's OOD generalization are not as efficient as anticipated. In this study, we attribute the inefficiency to the myopia phenomenon caused by CAD: language models only focus on causal features that are edited in the augmentation operation and exclude other non-edited causal features. Therefore, the potential of CAD is not fully exploited. To address this issue, we analyze the myopia phenomenon in feature space from the perspective of Fisher's Linear Discriminant, then we introduce two additional constraints based on CAD's structural properties (dataset-level and sentence-level) to help language models extract more complete causal features in CAD, thereby mitigating the myopia phenomenon and improving OOD generalization capability. We evaluate our method on two tasks: Sentiment Analysis and Natural Language Inference, and the experimental results demonstrate that our method could unlock the potential of CAD and improve the OOD generalization performance of language models by 1.0% to 5.9%.
Abstract（参考訳）: Counterfactually-Augmented Data (CAD) -- 文の最小限の編集で対応するラベルを反転させる -- は、言語モデルのout-Of-Distribution(OOD)一般化能力を改善する可能性がある。しかしCADのOOD一般化の実証結果は,期待したほど効率的ではない。本研究では,cadによるマイオピア現象の非効率性について,言語モデルでは拡張操作で編集された因果的特徴のみに注目し,他の非編集因果的特徴を除外する。したがってCADのポテンシャルは十分に活用されていない。この問題に対処するために、フィッシャーの線形判別の観点から特徴空間におけるミオピア現象を分析し、CADの構造的特性(データセットレベルと文レベル)に基づく2つの制約を導入し、言語モデルがCADのより完全な因果的特徴を抽出し、ミオピア現象を緩和し、OOD一般化能力を向上させる。本手法は感情分析と自然言語推論の2つのタスクで評価し,本手法がcadの可能性を解き放ち,言語モデルのood一般化性能を1.0%から5.9%向上できることを示した。

関連論文リスト

Profiling Patient Transcript Using Large Language Model Reasoning Augmentation for Alzheimer's Disease Detection [4.961581278723015]
アルツハイマー病(AD)は認知症の主要な原因であり、徐々に音声や言語能力の低下が特徴である。近年の深層学習は自発音声によるAD自動検出を容易にする。各発話中のテキストパターンを,患者の言語的特徴をグローバルに把握せずに直接モデル化する。
論文参考訳（メタデータ） (2024-09-19T07:58:07Z)
PairCFR: Enhancing Model Training on Paired Counterfactually Augmented Data through Contrastive Learning [49.60634126342945]
Counterfactually Augmented Data (CAD)は、既存のデータサンプルのラベルを他のクラスに戻すのに、最小限かつ十分な修正を適用することで、新しいデータサンプルを作成する。近年の研究では、CADを用いたトレーニングが、他の重要な文脈情報を無視しながら、モデルが修正機能に過度にフォーカスする可能性があることが示されている。我々は、対実的手がかりの学習に加えて、グローバルな特徴アライメントを促進するために、対照的な学習を採用する。
論文参考訳（メタデータ） (2024-06-09T07:29:55Z)
L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文参考訳（メタデータ） (2023-09-29T17:57:00Z)
Adaptive Contextual Perception: How to Generalize to New Backgrounds and Ambiguous Objects [75.15563723169234]
本研究では,視覚モデルが分布外一般化の文脈をどのように適応的に利用するかを検討する。 1つの設定で優れているモデルは、もう1つの設定で苦労する傾向があります。生物学的視覚の一般化能力を再現するためには、コンピュータビジョンモデルは背景表現に対して分解対象を持つ必要がある。
論文参考訳（メタデータ） (2023-06-09T15:29:54Z)
Trusting Your Evidence: Hallucinate Less with Context-aware Decoding [91.91468712398385]
言語モデル(LM)は入力コンテキストに十分な注意を払うのに苦労し、不信または幻覚を含むテキストを生成する。本稿では,文脈対応デコード(CAD)を提案する。このデコーディングは,モデルがコンテキストと無コンテキストで使用される場合の確率の差を増幅するコントラスト的な出力分布に従う。
論文参考訳（メタデータ） (2023-05-24T05:19:15Z)
Improving the Out-Of-Distribution Generalization Capability of Language Models: Counterfactually-Augmented Data is not Enough [19.38778317110205]
Counterfactually-Augmented Data (CAD) は言語モデルのout-Of-Distribution (OOD) 一般化能力を改善する可能性がある。本稿ではCADによるMyopia Phenomenonの非効率性について述べる。我々は、CADに含まれるより完全な因果的特徴を抽出する言語モデルを支援するために、さらに2つの制約を設計する。
論文参考訳（メタデータ） (2023-02-18T14:39:03Z)
CausalDialogue: Modeling Utterance-level Causality in Conversations [83.03604651485327]
クラウドソーシングを通じて、CausalDialogueという新しいデータセットをコンパイルし、拡張しました。このデータセットは、有向非巡回グラフ(DAG)構造内に複数の因果効果対を含む。ニューラル会話モデルの訓練における発話レベルにおける因果性の影響を高めるために,Exponential Average Treatment Effect (ExMATE) と呼ばれる因果性強化手法を提案する。
論文参考訳（メタデータ） (2022-12-20T18:31:50Z)
Counterfactually Augmented Data and Unintended Bias: The Case of Sexism and Hate Speech Detection [35.29235215101502]
コア機能を過度に参照すると、意図しないモデルバイアスが発生する可能性がある。我々は、挑戦的なデータに基づいて性差別とヘイトスピーチ検出のモデルをテストする。構成駆動で構成に依存しない、さまざまなCADセットを使用することで、意図しないバイアスを減らします。
論文参考訳（メタデータ） (2022-05-09T12:39:26Z)
Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
論文参考訳（メタデータ） (2021-11-02T15:48:28Z)
How Does Counterfactually Augmented Data Impact Models for Social Computing Constructs? [35.29235215101502]
本研究では、感情、性差別、ヘイトスピーチという3つのソーシャル・コンピューティング構造に着目し、社会的NLPモデルに対する反実的強化データ(CAD)の利点について検討する。 CADでトレーニングしたモデルではドメイン内性能が低下するが、ドメイン外性能は向上する。
論文参考訳（メタデータ） (2021-09-14T23:46:39Z)
An Investigation of the (In)effectiveness of Counterfactually Augmented Data [10.316235366821111]
その結果,CADは頑健な特徴を識別する上で有効であるが,頑健な特徴の学習を阻害する可能性が示唆された。その結果、現在のCADデータセットにおける摂動多様性の欠如は、OOD一般化におけるその効果を制限していることがわかった。
論文参考訳（メタデータ） (2021-07-01T21:46:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。