論文の概要: Mitigating Biases of Large Language Models in Stance Detection with Calibration

• arxiv url: http://arxiv.org/abs/2402.14296v2
• Date: Sun, 16 Jun 2024 12:04:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 05:56:21.953190
• Title: Mitigating Biases of Large Language Models in Stance Detection with Calibration
• Title（参考訳）: 校正によるスタンス検出における大規模言語モデルの緩和バイアス
• Authors: Ang Li, Jingqian Zhao, Bin Liang, Lin Gui, Hui Wang, Xi Zeng, Xingwei Liang, Kam-Fai Wong, Ruifeng Xu,
• Abstract要約: 大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて顕著な進歩を遂げている。 スタンス検出タスクでは、LLMは感情バイアスの相関や特定の個人やトピックに対する嗜好による偏りのあるスタンスを生成する可能性がある。 我々はスプリアス(MB-Cal)を用いた姿勢検出におけるLCMのバイアス軽減法を提案する。
• 参考スコア（独自算出の注目度）: 43.02857908228108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have achieved remarkable progress in many natural language processing tasks. However, our experiment reveals that, in stance detection tasks, LLMs may generate biased stances due to sentiment-stance spurious correlations and preference towards certain individuals and topics, thus harming their performance. Therefore, in this paper, we propose to Mitigate Biases of LLMs in stance detection with Calibration (MB-Cal). To be specific, a novel calibration network is devised to calibrate potential bias in the stance prediction of LLMs. Further, to address the challenge of effectively learning bias representations and the difficulty in the generalizability of debiasing, we construct counterfactual augmented data. This approach enhances the calibration network, facilitating the debiasing and out-of-domain generalization. Experimental results on in-target and zero-shot stance detection tasks show that the proposed MB-Cal can effectively mitigate biases of LLMs, achieving state-of-the-art results.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて顕著な進歩を遂げている。 しかし, 本研究では, 姿勢検出タスクにおいて, LLMが特定の個人やトピックに対する感情と刺激の相関や嗜好に起因して, 偏りのある姿勢を生じさせ, 性能を損なう可能性が示唆された。 そこで本稿では,キャリブレーション(MB-Cal)を用いた姿勢検出におけるLCMのバイアス軽減手法を提案する。 具体的には、LCMの姿勢予測における潜在的なバイアスをキャリブレーションするために、新しいキャリブレーションネットワークを考案した。 さらに,バイアス表現を効果的に学習する上での課題と,デバイアスの一般化性の難しさに対処するために,デバイアスデータを構築した。 このアプローチはキャリブレーションネットワークを強化し、デバイアス化とドメイン外一般化を容易にする。 ターゲット内およびゼロショット姿勢検出タスクの実験結果から,提案したMB-CalはLLMのバイアスを効果的に軽減し,最先端の結果が得られることが示された。

関連論文リスト

• UniBias: Unveiling and Mitigating LLM Bias through Internal Attention and FFN Manipulation [12.04811490937078]
  フィードフォワードニューラルネットワーク(FFN)とアテンションヘッドが大規模言語モデル(LLM)のバイアスをもたらすかを検討する。 これらのバイアスを軽減するために,推定のみの手法であるUniBiasを導入し,バイアス付きFFNベクトルとアテンションヘッドを効果的に識別・除去する。
  論文  参考訳（メタデータ） (2024-05-31T03:59:15Z)
• Beyond Performance: Quantifying and Mitigating Label Bias in LLMs [8.77694178599322]
  モデル予測におけるラベルバイアスを定量化するための様々なアプローチを評価する。 本研究により, 脱バイアス前後のモデルに有意なラベルバイアスが認められた。 数発のプロンプトに適したラベルバイアス校正法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T19:53:03Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Thermometer: Towards Universal Calibration for Large Language Models [22.03852781949075]
  大規模言語モデル(LLM)に適したキャリブレーション手法であるOMETERを提案する。 OMETERは、複数のタスクから与えられたデータに基づいて補助モデルを学び、LLMを校正する。 計算効率が高く、LLMの精度を保ち、新しいタスクに対してより良い校正された応答を生成する。
  論文  参考訳（メタデータ） (2024-02-20T04:13:48Z)
• Large Language Model (LLM) Bias Index -- LLMBI [0.0]
  LLMBI(Large Language Model Bias Index)は、大規模言語モデル(LLM)に固有のバイアスを定量化し、対処するための先駆的なアプローチである。 年齢,性別,人種的偏見に限らず,多次元の偏見を取り入れた複合スコアリングシステムを用いたLLMBIの定式化を行った。 OpenAIのAPIからの応答を用いた実証分析では,バイアス検出の代表的な方法として,高度な感情分析を採用している。
  論文  参考訳（メタデータ） (2023-12-22T15:38:13Z)
• On Task Performance and Model Calibration with Supervised and Self-Ensembled In-Context Learning [71.44986275228747]
  In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。 しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
  論文  参考訳（メタデータ） (2023-12-21T11:55:10Z)
• On Diversified Preferences of Large Language Model Alignment [51.26149027399505]
  本研究では,多彩な嗜好が報酬モデルに及ぼす影響について検討する。 その結果,様々な選好データが報酬モデルのキャリブレーション性能に悪影響を及ぼすことがわかった。 本稿では,RMの校正性能を高めるための多目的リワード学習手法を提案する。
  論文  参考訳（メタデータ） (2023-12-12T16:17:15Z)
• A Study on the Calibration of In-context Learning [27.533223818505682]
  In-context Learning (ICL) は静的言語モデルに適切なプロンプトで適応するための一般的な手法である。 また,ICL例の増加に伴い,モデルの誤校正が向上し,キャリブレーションの精度が向上することが確認された。 再校正手法について検討し,スケーリング結合キャリブレータが一貫した校正誤差を低減できることを見出した。
  論文  参考訳（メタデータ） (2023-12-07T03:37:39Z)
• On the Inference Calibration of Neural Machine Translation [54.48932804996506]
  校正と翻訳性能と誤校正の言語特性の相関について検討した。 そこで本研究では,推論キャリブレーションと翻訳性能を両立できる新しいラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2020-05-03T02:03:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。