論文の概要: Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis

• arxiv url: http://arxiv.org/abs/2311.08605v2
• Date: Sun, 12 May 2024 13:56:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 01:02:54.906692
• Title: Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis
• Title（参考訳）: バイアスのジャングルを探る:依存性分析による言語モデルにおける政治的バイアス属性
• Authors: David F. Jenny, Yann Billeter, Mrinmaya Sachan, Bernhard Schölkopf, Zhijing Jin,
• Abstract要約: 大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
• 参考スコア（独自算出の注目度）: 86.49858739347412
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of Large Language Models (LLMs) has sparked intense debate regarding the prevalence of bias in these models and its mitigation. Yet, as exemplified by both results on debiasing methods in the literature and reports of alignment-related defects from the wider community, bias remains a poorly understood topic despite its practical relevance. To enhance the understanding of the internal causes of bias, we analyse LLM bias through the lens of causal fairness analysis, which enables us to both comprehend the origins of bias and reason about its downstream consequences and mitigation. To operationalize this framework, we propose a prompt-based method for the extraction of confounding and mediating attributes which contribute to the LLM decision process. By applying Activity Dependency Networks (ADNs), we then analyse how these attributes influence an LLM's decision process. We apply our method to LLM ratings of argument quality in political debates. We find that the observed disparate treatment can at least in part be attributed to confounding and mitigating attributes and model misalignment, and discuss the consequences of our findings for human-AI alignment and bias mitigation. Our code and data are at https://github.com/david-jenny/LLM-Political-Study.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩は、これらのモデルにおけるバイアスの出現とその緩和に関する激しい議論を引き起こしている。 しかし、文献におけるデバイアス法と、より広いコミュニティからのアライメントに関連する欠陥の報告の両方の結果が示すように、その実践的関連性にもかかわらず、バイアスはよく理解されていないトピックである。 偏見の内的原因の理解を深めるために、因果公正分析のレンズを通してLCMバイアスを分析し、偏見の起源を理解し、その下流の帰結と緩和の理由を解明する。 このフレームワークを運用するために,LLM決定プロセスに寄与する属性の抽出と仲介を行うプロンプトベースの手法を提案する。 アクティビティ依存ネットワーク(ADN)を適用することで、これらの属性がLCMの決定プロセスにどのように影響するかを分析する。 政治討論における議論品質のLCM評価に本手法を適用した。 観察された異種間処理は,少なくとも一部は,属性とモデルの相違とモデルの相違によるものであり,人間のAIアライメントと偏見の緩和に関する結果が議論されている。 私たちのコードとデータはhttps://github.com/david-jenny/LLM-Political-Studyにあります。

関連論文リスト

• Bias in the Mirror: Are LLMs opinions robust to their own adversarial attacks ? [22.0383367888756]
  大規模言語モデル(LLM)は、トレーニングデータとアライメントプロセスからバイアスを受け継ぎ、微妙な方法で応答に影響を与える。 LLMの2つのインスタンスが自己議論を行う新しいアプローチを導入し、反対の視点でモデルの中立バージョンを説得する。 我々は、モデルがどのようにしっかりとバイアスを保ち、誤った情報を強化するか、有害な視点に移行するかを評価する。
  論文  参考訳（メタデータ） (2024-10-17T13:06:02Z)
• A Multi-LLM Debiasing Framework [85.17156744155915]
  大規模言語モデル(LLM)は、社会に多大な利益をもたらす可能性がある強力なツールであるが、社会的不平等を持続するバイアスを示す。 近年,マルチLLM手法への関心が高まっており,推論の質向上に有効であることが示されている。 LLMのバイアス低減を目的としたマルチLLMデバイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T20:24:50Z)
• Unboxing Occupational Bias: Grounded Debiasing of LLMs with U.S. Labor Data [9.90951705988724]
  大規模言語モデル(LLM)は、社会的バイアスを継承し増幅する傾向がある。 LLMバイアスは、不公平な慣行をもたらし、社会的不平等を悪化させる。
  論文  参考訳（メタデータ） (2024-08-20T23:54:26Z)
• The African Woman is Rhythmic and Soulful: An Investigation of Implicit Biases in LLM Open-ended Text Generation [3.9945212716333063]
  大規模言語モデル(LLM)による決定に影響を与えるため、暗黙のバイアスは重要である。 伝統的に、明示的なバイアステストや埋め込みベースの手法はバイアスを検出するために使用されるが、これらのアプローチはより微妙で暗黙的なバイアスの形式を見落としることができる。 提案手法は, 暗黙の偏見を明らかにするために, 即発的, 意思決定的タスクによる2つの新しい心理学的手法を導入している。
  論文  参考訳（メタデータ） (2024-07-01T13:21:33Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Interpreting Bias in Large Language Models: A Feature-Based Approach [0.0]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクで顕著なパフォーマンスを示した。 本稿では, 特徴量に基づく新しい解析手法により, LLM内のバイアスの伝播について検討する。
  論文  参考訳（メタデータ） (2024-06-18T07:28:15Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。 LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。 我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• Investigating Bias in LLM-Based Bias Detection: Disparities between LLMs and Human Perception [13.592532358127293]
  大規模言語モデル(LLM)におけるバイアスの存在と性質について検討する。 LLMが特に政治的バイアス予測やテキスト継続タスクにおいてバイアスを示すかどうかを調査する。 我々は,素早い工学とモデル微調整を含む脱バイアス戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-22T00:59:48Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。