論文の概要: Relative Counterfactual Contrastive Learning for Mitigating Pretrained Stance Bias in Stance Detection

• arxiv url: http://arxiv.org/abs/2405.10991v1
• Date: Thu, 16 May 2024 08:57:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 19:56:17.858925
• Title: Relative Counterfactual Contrastive Learning for Mitigating Pretrained Stance Bias in Stance Detection
• Title（参考訳）: スタンス検出における事前拘束されたスタンスバイアスの緩和のための相対的対物コントラスト学習
• Authors: Jiarui Zhang, Shaojuan Wu, Xiaowang Zhang, Zhiyong Feng,
• Abstract要約: スタンス検出は、コメントとターゲットの間のスタンス関係(すなわち、フェーバー、アタック、あるいはどちらでもない)を分類する。 事前訓練言語モデル(PLM)は、姿勢検出の性能向上のために姿勢関係をマイニングするために広く用いられている。 PLMは、スタンスに関する事前訓練された知識を抽出されたスタンス関係のセマンティクスに組み込み、事前訓練されたスタンスバイアスをもたらす。
• 参考スコア（独自算出の注目度）: 17.192934742974064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stance detection classifies stance relations (namely, Favor, Against, or Neither) between comments and targets. Pretrained language models (PLMs) are widely used to mine the stance relation to improve the performance of stance detection through pretrained knowledge. However, PLMs also embed ``bad'' pretrained knowledge concerning stance into the extracted stance relation semantics, resulting in pretrained stance bias. It is not trivial to measure pretrained stance bias due to its weak quantifiability. In this paper, we propose Relative Counterfactual Contrastive Learning (RCCL), in which pretrained stance bias is mitigated as relative stance bias instead of absolute stance bias to overtake the difficulty of measuring bias. Firstly, we present a new structural causal model for characterizing complicated relationships among context, PLMs and stance relations to locate pretrained stance bias. Then, based on masked language model prediction, we present a target-aware relative stance sample generation method for obtaining relative bias. Finally, we use contrastive learning based on counterfactual theory to mitigate pretrained stance bias and preserve context stance relation. Experiments show that the proposed method is superior to stance detection and debiasing baselines.
• Abstract（参考訳）: スタンス検出は、コメントとターゲットの間のスタンス関係(すなわち、フェーバー、アタック、あるいはどちらでもない)を分類する。 事前学習言語モデル(PLM)は,事前学習知識による姿勢検出の性能向上のために,姿勢関係のマイニングに広く用いられている。 しかし、PLMは、姿勢に関する事前訓練された知識を抽出された姿勢関係のセマンティクスに組み込み、事前訓練された姿勢バイアスをもたらす。 弱量子化可能性のため、事前訓練された姿勢バイアスを測定することは自明ではない。 本稿では,相対的姿勢偏差を絶対的姿勢偏差ではなく相対的姿勢偏差として緩和し,偏差測定の難しさを克服する相対的反現実性学習(RCCL)を提案する。 まず,文脈, PLM, 姿勢関係の複雑な関係を特徴付ける構造的因果関係モデルを提案する。 そして,マスク付き言語モデル予測に基づいて,相対バイアスを得るための目標認識相対姿勢サンプル生成手法を提案する。 最後に,反実理論に基づくコントラスト学習を用いて,事前学習した姿勢バイアスを緩和し,文脈姿勢関係を保存する。 実験により, 提案手法は, 姿勢検出法や偏り検出法よりも優れていることが示された。

関連論文リスト

• ALBAR: Adversarial Learning approach to mitigate Biases in Action Recognition [52.537021302246664]
  行動認識モデルは、しばしば背景バイアス(背景の手がかりに基づく行動の推測)と前景バイアス(主題の外観に依存する)に悩まされる。 本稿では,前景や背景のバイアスを,バイアス特性の専門知識を必要とせずに軽減する,新たな対人訓練手法であるALBARを提案する。 我々は,提案手法を確立された背景および前景バイアスプロトコル上で評価し,新しい最先端技術を設定し,HMDB51上で12%以上のデバイアス性能を向上した。
  論文  参考訳（メタデータ） (2025-01-31T20:47:06Z)
• How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
  本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。 その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
  論文  参考訳（メタデータ） (2024-11-28T16:20:25Z)
• CosFairNet:A Parameter-Space based Approach for Bias Free Learning [1.9116784879310025]
  バイアス付きデータに基づいてトレーニングされたディープニューラルネットワークは、意図しない推論ルールを不注意に学習することが多い。 本稿では,モデルのパラメータ空間内で直接バイアスに対処する新しい手法を提案する。 各種合成および実世界のデータセットにおいて,分類精度の向上と偏りの低減効果を示す。
  論文  参考訳（メタデータ） (2024-10-19T13:06:40Z)
• Projective Methods for Mitigating Gender Bias in Pre-trained Language Models [10.418595661963062]
  プロジェクティブメソッドは実装が高速で、少数の保存されたパラメータを使用し、既存のモデルパラメータを更新しない。 射影法は内在バイアスと下流バイアス軽減の両方に有効であるが, 両者の結果は必ずしも相関しない。
  論文  参考訳（メタデータ） (2024-03-27T17:49:31Z)
• Debiasing Stance Detection Models with Counterfactual Reasoning and Adversarial Bias Learning [15.68462203989933]
  スタンス検出モデルは、ショートカットとしてテキスト部分のデータセットバイアスに依存する傾向がある。 より正確にバイアスをモデル化するための逆バイアス学習モジュールを提案する。
  論文  参考訳（メタデータ） (2022-12-20T16:20:56Z)
• Mind Your Bias: A Critical Review of Bias Detection Methods for Contextual Language Models [2.170169149901781]
  文脈言語モデルに対する厳密な分析とバイアス検出手法の比較を行う。 私たちの結果は、マイナーな設計と実装の決定(またはエラー)が、導出バイアススコアに大きく、しばしば重大な影響を与えていることを示している。
  論文  参考訳（メタデータ） (2022-11-15T19:27:54Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• Information-Theoretic Bias Reduction via Causal View of Spurious Correlation [71.9123886505321]
  本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。 本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。 提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
  論文  参考訳（メタデータ） (2022-01-10T01:19:31Z)
• Fairness-aware Class Imbalanced Learning [57.45784950421179]
  つぶやきの感情と職業分類のロングテール学習手法を評価する。 フェアネスを強制する手法により、マージンロスに基づくアプローチを拡張します。
  論文  参考訳（メタデータ） (2021-09-21T22:16:30Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。