論文の概要: Decorrelate Irrelevant, Purify Relevant: Overcome Textual Spurious Correlations from a Feature Perspective

• arxiv url: http://arxiv.org/abs/2202.08048v1
• Date: Wed, 16 Feb 2022 13:23:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-17 20:29:06.706499
• Title: Decorrelate Irrelevant, Purify Relevant: Overcome Textual Spurious Correlations from a Feature Perspective
• Title（参考訳）: 無関係を分離し、関連性を清める: 特徴的視点からテキスト的スプリアス相関を克服する
• Authors: Shihan Dou, Rui Zheng, Ting Wu, Songyang Gao, Qi Zhang, Yueming Wu, Xuanjing Huang
• Abstract要約: 自然言語理解(NLU)モデルは、散発的な相関(すなわちデータセットバイアス)に頼る傾向があり、分布内データセットでは高い性能を得るが、分布外データセットでは性能が劣る。 既存のデバイアス法のほとんどは、バイアスのある特徴を持つサンプルを識別し、弱めていることが多い。 サンプルの重み付けは、サンプルの偏りのない部分から学習する際のモデルを妨げる。 本稿では,特徴空間の観点から,微粒な方法でスプリアス相関を除去することを提案する。
• 参考スコア（独自算出の注目度）: 47.10907370311025
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Natural language understanding (NLU) models tend to rely on spurious correlations (\emph{i.e.}, dataset bias) to achieve high performance on in-distribution datasets but poor performance on out-of-distribution ones. Most of the existing debiasing methods often identify and weaken these samples with biased features (\emph{i.e.}, superficial surface features that cause such spurious correlations). However, down-weighting these samples obstructs the model in learning from the non-biased parts of these samples. To tackle this challenge, in this paper, we propose to eliminate spurious correlations in a fine-grained manner from a feature space perspective. Specifically, we introduce Random Fourier Features and weighted re-sampling to decorrelate the dependencies between features to mitigate spurious correlations. After obtaining decorrelated features, we further design a mutual-information-based method to purify them, which forces the model to learn features that are more relevant to tasks. Extensive experiments on two well-studied NLU tasks including Natural Language Inference and Fact Verification demonstrate that our method is superior to other comparative approaches.
• Abstract（参考訳）: 自然言語理解(NLU)モデルは、分布内データセットでは高い性能を得るが、分布外データセットでは貧弱な性能を達成するために、急激な相関 (\emph{i.e.}, データセットバイアス) に依存する傾向がある。 既存のデバイアス法の多くは、しばしばこれらのサンプルを偏りのある特徴で識別し、弱める("\emph{i.e.}, superficial surface features that caused such spurious correlations")。 しかし、これらのサンプルの重み付けは、サンプルのバイアスのない部分から学習する際のモデルを妨げる。 この課題に対処するため,本稿では,特徴空間の観点から微粒な相関関係を除去することを提案する。 具体的には,ランダムなフーリエ特徴と重み付き再サンプリングを導入することで,特徴間の依存関係を分離し,スプリアス相関を緩和する。 decorrelated featuresを得た後、それらを浄化するための相互情報に基づく手法を更に設計し、よりタスクに関係のある特徴を学習させる。 自然言語推論とFact Verificationを含む2つのよく研究されたNLUタスクに対する広範囲な実験により,本手法が他の比較手法よりも優れていることが示された。

関連論文リスト

• Learning from Summarized Data: Gaussian Process Regression with Sample Quasi-Likelihood [0.0]
  本研究では,ガウス過程回帰の枠組みにおける要約データのみを用いた学習と推論に取り組む。 本稿では,要約データのみを用いた学習と推論を容易にするサンプル準類似概念を提案する。
  論文  参考訳（メタデータ） (2024-12-23T10:21:38Z)
• Common-Sense Bias Modeling for Classification Tasks [15.683471433842492]
  テキスト記述に基づく画像データセットの包括的バイアスを抽出する新しい枠組みを提案する。 提案手法は,複数の画像ベンチマークデータセットにおける新しいモデルバイアスを明らかにする。 発見されたバイアスは、機能の非相関化のために、単純なデータ再重み付けによって緩和することができる。
  論文  参考訳（メタデータ） (2024-01-24T03:56:07Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• FACTS: First Amplify Correlations and Then Slice to Discover Bias [17.244153084361102]
  コンピュータビジョンデータセットは、しばしばタスク関連ラベルと(学習しやすい)潜在タスク関連属性の間の急激な相関を含んでいる。 このようなデータセットでトレーニングされたモデルは、"ショートカット"を学び、相関が保たないデータのバイアス分散スライスを過小評価する。 本稿では,まず相関を増幅し,次にバイアスを識別し,下流のバイアス軽減戦略について報告する。
  論文  参考訳（メタデータ） (2023-09-29T17:41:26Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Breaking the Spurious Causality of Conditional Generation via Fairness Intervention with Corrective Sampling [77.15766509677348]
  条件生成モデルは、トレーニングデータセットから急激な相関を継承することが多い。 これは別の潜在属性に対して不均衡なラベル条件分布をもたらす。 この問題を緩和するための一般的な2段階戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-05T08:09:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。