論文の概要: Covert Bias: The Severity of Social Views' Unalignment in Language Models Towards Implicit and Explicit Opinion
- arxiv url: http://arxiv.org/abs/2408.08212v2
- Date: Fri, 16 Aug 2024 11:57:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 10:48:24.403277
- Title: Covert Bias: The Severity of Social Views' Unalignment in Language Models Towards Implicit and Explicit Opinion
- Title(参考訳): Covert Bias: 言語モデルにおける社会的視点の不一致の深刻さ : 暗黙的・明示的な意見に向けて
- Authors: Abeer Aldayel, Areej Alokaili, Rehab Alahmadi,
- Abstract要約: 過度なバイアスシナリオのエッジケースにおけるバイアスモデルを用いて、ビューに対するバイアスの重症度を評価する。
以上の結果から,暗黙的・明示的な意見の識別において,LLM 性能の相違が明らかとなり,反対意見の明示的な意見に対する偏見の傾向が一般的であった。
非整合モデルの直接的な不注意な反応は、決定性のさらなる洗練の必要性を示唆している。
- 参考スコア(独自算出の注目度): 0.40964539027092917
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: While various approaches have recently been studied for bias identification, little is known about how implicit language that does not explicitly convey a viewpoint affects bias amplification in large language models. To examine the severity of bias toward a view, we evaluated the performance of two downstream tasks where the implicit and explicit knowledge of social groups were used. First, we present a stress test evaluation by using a biased model in edge cases of excessive bias scenarios. Then, we evaluate how LLMs calibrate linguistically in response to both implicit and explicit opinions when they are aligned with conflicting viewpoints. Our findings reveal a discrepancy in LLM performance in identifying implicit and explicit opinions, with a general tendency of bias toward explicit opinions of opposing stances. Moreover, the bias-aligned models generate more cautious responses using uncertainty phrases compared to the unaligned (zero-shot) base models. The direct, incautious responses of the unaligned models suggest a need for further refinement of decisiveness by incorporating uncertainty markers to enhance their reliability, especially on socially nuanced topics with high subjectivity.
- Abstract(参考訳): 近年, バイアス識別のための様々な手法が研究されているが, 視点を明示的に伝達しない暗黙の言語が, 大規模言語モデルにおけるバイアス増幅に与える影響についてはほとんど分かっていない。
本研究では,社会集団の暗黙的・明示的な知識を用いた2つの下流課題の性能評価を行った。
まず,過度なバイアスシナリオのエッジケースにおけるバイアスモデルを用いて,ストレステストの評価を行う。
そこで我々は,LLMが対立する視点に整合している場合,暗黙的・明示的な意見に反応して言語学的に校正する方法について検討した。
以上の結果から,暗黙的・明示的な意見の識別において,LLM 性能の相違が明らかとなり,反対意見の明示的な意見に対する偏見の傾向が一般的であった。
さらに、バイアス整合モデルは、不整合(ゼロショット)ベースモデルと比較して不確実なフレーズを用いてより慎重な応答を生成する。
不整合モデルの直接的な、注意深い応答は、信頼性を高めるために不確実性マーカーを組み込むことにより、決定性のさらなる改善の必要性を示唆している。
関連論文リスト
- The African Woman is Rhythmic and Soulful: Evaluation of Open-ended Generation for Implicit Biases [0.0]
本研究では,Large Language Models (LLMs) における微妙かつしばしば隠蔽されるバイアスについて検討する。
LLMがますますプロプライエタリになるにつれて、そのようなバイアスを測定するという課題はさらに悪化する。
本研究では,心理学的方法論に触発されたバイアスの革新的な尺度を紹介する。
論文 参考訳(メタデータ) (2024-07-01T13:21:33Z) - Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。
因果的注意は一般的に、モデルが遠方のコンテンツを好むのに対して、RoPEのような相対的な位置エンコーディングは近くのものを好む。
本研究では,異なる入力セグメント順序(例えばLM-as-a-judgeのオプション,QAの検索文書)によって生じる位置バイアスを,TRAINING-FREE ZERO-SHOT方式で推定する。
論文 参考訳(メタデータ) (2024-07-01T09:06:57Z) - Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。
本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
論文 参考訳(メタデータ) (2024-03-15T02:04:35Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-11T12:02:14Z) - Cognitive bias in large language models: Cautious optimism meets
anti-Panglossian meliorism [0.0]
大きな言語モデルにおけるバイアスの伝統的な議論は、不公平と密接に結びついたバイアスの概念に焦点を当てている。
最近の研究は、様々な認知バイアスに対して、大きな言語モデルのアウトプットを評価する新たな可能性を高めている。
この議論の哲学的意味は、人間の認知バイアスの合理性や、モデルバイアスの駆動における非表現的データの役割である。
論文 参考訳(メタデータ) (2023-11-18T01:58:23Z) - Social Bias Probing: Fairness Benchmarking for Language Models [38.180696489079985]
本稿では,社会的偏見を考慮した言語モデル構築のための新しい枠組みを提案する。
既存のフェアネスコレクションの制限に対処するために設計された大規模なベンチマークであるSOFAをキュレートする。
既存のベンチマークと比較すると、言語モデル内のバイアスは認識されるよりもニュアンスが高いことが分かる。
論文 参考訳(メタデータ) (2023-11-15T16:35:59Z) - Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。
本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。
観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
論文 参考訳(メタデータ) (2023-11-15T00:02:25Z) - Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。
また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。
様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
論文 参考訳(メタデータ) (2023-02-22T14:50:24Z) - Looking at the Overlooked: An Analysis on the Word-Overlap Bias in
Natural Language Inference [20.112129592923246]
我々は、NLIモデルにおける重複バイアスの見過ごされた側面、すなわちリバースワードオーバーラップバイアスに焦点を当てる。
現在のNLIモデルは、重複の少ないインスタンスにおいて、非エンターメントラベルに対して非常に偏りがある。
重なり合うバイアスの出現とその緩和におけるマイノリティ事例の役割について検討する。
論文 参考訳(メタデータ) (2022-11-07T21:02:23Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。