論文の概要: Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis
- arxiv url: http://arxiv.org/abs/2311.08605v2
- Date: Sun, 12 May 2024 13:56:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 01:02:54.906692
- Title: Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis
- Title(参考訳): バイアスのジャングルを探る:依存性分析による言語モデルにおける政治的バイアス属性
- Authors: David F. Jenny, Yann Billeter, Mrinmaya Sachan, Bernhard Schölkopf, Zhijing Jin,
- Abstract要約: 大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。
本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。
観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
- 参考スコア(独自算出の注目度): 86.49858739347412
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid advancement of Large Language Models (LLMs) has sparked intense debate regarding the prevalence of bias in these models and its mitigation. Yet, as exemplified by both results on debiasing methods in the literature and reports of alignment-related defects from the wider community, bias remains a poorly understood topic despite its practical relevance. To enhance the understanding of the internal causes of bias, we analyse LLM bias through the lens of causal fairness analysis, which enables us to both comprehend the origins of bias and reason about its downstream consequences and mitigation. To operationalize this framework, we propose a prompt-based method for the extraction of confounding and mediating attributes which contribute to the LLM decision process. By applying Activity Dependency Networks (ADNs), we then analyse how these attributes influence an LLM's decision process. We apply our method to LLM ratings of argument quality in political debates. We find that the observed disparate treatment can at least in part be attributed to confounding and mitigating attributes and model misalignment, and discuss the consequences of our findings for human-AI alignment and bias mitigation. Our code and data are at https://github.com/david-jenny/LLM-Political-Study.
- Abstract(参考訳): 大規模言語モデル(LLM)の急速な進歩は、これらのモデルにおけるバイアスの出現とその緩和に関する激しい議論を引き起こしている。
しかし、文献におけるデバイアス法と、より広いコミュニティからのアライメントに関連する欠陥の報告の両方の結果が示すように、その実践的関連性にもかかわらず、バイアスはよく理解されていないトピックである。
偏見の内的原因の理解を深めるために、因果公正分析のレンズを通してLCMバイアスを分析し、偏見の起源を理解し、その下流の帰結と緩和の理由を解明する。
このフレームワークを運用するために,LLM決定プロセスに寄与する属性の抽出と仲介を行うプロンプトベースの手法を提案する。
アクティビティ依存ネットワーク(ADN)を適用することで、これらの属性がLCMの決定プロセスにどのように影響するかを分析する。
政治討論における議論品質のLCM評価に本手法を適用した。
観察された異種間処理は,少なくとも一部は,属性とモデルの相違とモデルの相違によるものであり,人間のAIアライメントと偏見の緩和に関する結果が議論されている。
私たちのコードとデータはhttps://github.com/david-jenny/LLM-Political-Studyにあります。
関連論文リスト
- The African Woman is Rhythmic and Soulful: Evaluation of Open-ended Generation for Implicit Biases [0.0]
本研究では,Large Language Models (LLMs) における微妙かつしばしば隠蔽されるバイアスについて検討する。
LLMがますますプロプライエタリになるにつれて、そのようなバイアスを測定するという課題はさらに悪化する。
本研究では,心理学的方法論に触発されたバイアスの革新的な尺度を紹介する。
論文 参考訳(メタデータ) (2024-07-01T13:21:33Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
帰属的有理は帰属的有理数よりも人称有理数とよく一致していることを示す。
さらに,従来の研究で特定されたプロンプトベース手法の忠実度制限は,その崩壊予測と関係があることが示唆された。
論文 参考訳(メタデータ) (2024-06-28T20:06:30Z) - Interpreting Bias in Large Language Models: A Feature-Based Approach [0.0]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクで顕著なパフォーマンスを示した。
本稿では, 特徴量に基づく新しい解析手法により, LLM内のバイアスの伝播について検討する。
論文 参考訳(メタデータ) (2024-06-18T07:28:15Z) - Analyzing the Impact of Data Selection and Fine-Tuning on Economic and Political Biases in LLMs [1.1704154007740835]
大規模言語モデル(LLM)における微調整とデータ選択が経済的・政治的バイアスに与える影響について検討する。
我々は,LPMを目標イデオロギーと整合させるためのPEFT(Efficient Fine-Tuning)技術を用いて,パラメータの小さなサブセットを修正した。
我々の研究は、AIの倫理的応用に関する対話に寄与し、社会的価値に合わせた方法でAIをデプロイすることの重要性を強調します。
論文 参考訳(メタデータ) (2024-04-10T16:30:09Z) - Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。
LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。
我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
論文 参考訳(メタデータ) (2024-04-08T14:15:56Z) - Investigating Bias in LLM-Based Bias Detection: Disparities between LLMs and Human Perception [13.592532358127293]
大規模言語モデル(LLM)におけるバイアスの存在と性質について検討する。
LLMが特に政治的バイアス予測やテキスト継続タスクにおいてバイアスを示すかどうかを調査する。
我々は,素早い工学とモデル微調整を含む脱バイアス戦略を提案する。
論文 参考訳(メタデータ) (2024-03-22T00:59:48Z) - Steering LLMs Towards Unbiased Responses: A Causality-Guided Debiasing
Framework [20.753141804841]
大規模言語モデル(LLM)はバイアスや差別的な応答を容易に生成できる。
本稿では,人口統計情報とLCMのアウトプットの関連性に着目し,社会的偏見に着目した。
論文 参考訳(メタデータ) (2024-03-13T17:46:28Z) - Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文 参考訳(メタデータ) (2024-02-16T18:28:43Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-11T12:02:14Z) - Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。