論文の概要: Explanation based Bias Decoupling Regularization for Natural Language Inference

• arxiv url: http://arxiv.org/abs/2404.13390v1
• Date: Sat, 20 Apr 2024 14:20:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 19:10:11.644715
• Title: Explanation based Bias Decoupling Regularization for Natural Language Inference
• Title（参考訳）: 自然言語推論のための説明に基づくバイアスデカップリング正規化
• Authors: Jianxiang Zang, Hui Liu,
• Abstract要約: トランスフォーマーベースの自然言語推論エンコーダは、意図されたタスク関連機能よりもデータセットバイアスに依存する傾向がある。 説明に基づくバイアス分離正規化(EBD-Reg)を提案する。 EBD-Regは人間の説明を基準として、エンコーダにディチンギング、デカップリング、アライニングの三部構成の並列監視を確立するよう指示する。
• 参考スコア（独自算出の注目度）: 3.5863110323469
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The robustness of Transformer-based Natural Language Inference encoders is frequently compromised as they tend to rely more on dataset biases than on the intended task-relevant features. Recent studies have attempted to mitigate this by reducing the weight of biased samples during the training process. However, these debiasing methods primarily focus on identifying which samples are biased without explicitly determining the biased components within each case. This limitation restricts those methods' capability in out-of-distribution inference. To address this issue, we aim to train models to adopt the logic humans use in explaining causality. We propose a simple, comprehensive, and interpretable method: Explanation based Bias Decoupling Regularization (EBD-Reg). EBD-Reg employs human explanations as criteria, guiding the encoder to establish a tripartite parallel supervision of Distinguishing, Decoupling and Aligning. This method enables encoders to identify and focus on keywords that represent the task-relevant features during inference, while discarding the residual elements acting as biases. Empirical evidence underscores that EBD-Reg effectively guides various Transformer-based encoders to decouple biases through a human-centric lens, significantly surpassing other methods in terms of out-of-distribution inference capabilities.
• Abstract（参考訳）: Transformerベースの自然言語推論エンコーダの堅牢性は、意図されたタスク関連機能よりもデータセットバイアスに依存する傾向があるため、しばしば妥協される。 近年の研究では、トレーニング過程における偏りのあるサンプルの重量を減らし、これを緩和しようと試みている。 しかしながら、これらのデバイアス法は主に、各ケース内の偏り成分を明示的に決定することなく、どのサンプルに偏りがあるかを特定することに重点を置いている。 この制限は、アウト・オブ・ディストリビューション推論におけるこれらのメソッドの能力を制限する。 この問題に対処するため、我々は、人間が因果関係を説明するために使用する論理をモデルに組み入れることを目標としている。 説明に基づくバイアスデカップリング規則化(EBD-Reg)を提案する。 EBD-Regは人間の説明を基準として、エンコーダにディチンギング、デカップリング、アライニングの三部構成の並列監視を確立するよう指示する。 この方法では、残余要素をバイアスとして取り除きながら、推論中にタスク関連の特徴を表すキーワードをエンコーダが識別し、フォーカスすることができる。 実証的な証拠は、EBD-Regがトランスフォーマーベースのエンコーダを効果的に誘導し、人間の中心レンズを通してバイアスを分離し、アウト・オブ・ディストリビューション推論能力の点で他の手法をはるかに上回っていることを示している。

関連論文リスト

• Enhancing Anomaly Detection via Generating Diversified and Hard-to-distinguish Synthetic Anomalies [7.021105583098609]
  近年のアプローチでは、通常のサンプルから合成異常を生成するためにドメイン固有の変換や摂動を活用することに重点を置いている。 そこで本研究では,条件付き摂動器と判別器を併用したドメインに依存しない新しい手法を提案する。 我々は,最先端のベンチマークよりも提案手法が優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-16T08:15:23Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• Power of Explanations: Towards automatic debiasing in hate speech detection [19.26084350822197]
  ヘイトスピーチ検出は、自然言語処理(NLP)の現実世界における一般的なダウンストリームアプリケーションである。 本稿では,潜在的なバイアスを検出するための説明手法を頼りに,自動誤用検知(MiD)を提案する。
  論文  参考訳（メタデータ） (2022-09-07T14:14:03Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• Information-Theoretic Bias Reduction via Causal View of Spurious Correlation [71.9123886505321]
  本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。 本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。 提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
  論文  参考訳（メタデータ） (2022-01-10T01:19:31Z)
• Interpretable Data-Based Explanations for Fairness Debugging [7.266116143672294]
  Gopherは、バイアスや予期せぬモデルの振る舞いに関するコンパクトで解釈可能な、因果的な説明を生成するシステムである。 我々は,学習データに介入する程度を,サブセットの削除や更新によって定量化する因果責任の概念を導入し,バイアスを解消する。 この概念に基づいて、モデルバイアスを説明するトップkパターンを生成するための効率的なアプローチを開発する。
  論文  参考訳（メタデータ） (2021-12-17T20:10:00Z)
• Causally-motivated Shortcut Removal Using Auxiliary Labels [63.686580185674195]
  このようなリスク不変予測器の学習に重要な課題はショートカット学習である。 この課題に対処するために、フレキシブルで因果的なアプローチを提案する。 この因果的動機付けされた正規化スキームが堅牢な予測子を生み出すことを理論的および実証的に示す。
  論文  参考訳（メタデータ） (2021-05-13T16:58:45Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。