論文の概要: Assessing Political Bias in Large Language Models

• arxiv url: http://arxiv.org/abs/2405.13041v2
• Date: Fri, 24 May 2024 07:59:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 19:58:14.092149
• Title: Assessing Political Bias in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける政治的バイアスの評価
• Authors: Luca Rettenberger, Markus Reischl, Mark Schutera,
• Abstract要約: 我々は、ドイツの有権者の視点から、欧州連合(EU)内の政治問題に関するオープンソースのLarge Language Models(LLMs)の政治的バイアスを評価する。 Llama3-70Bのような大型モデルは、左派政党とより緊密に連携する傾向にあるが、小さなモデルは中立であることが多い。
• 参考スコア（独自算出の注目度）: 0.624709220163167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The assessment of bias within Large Language Models (LLMs) has emerged as a critical concern in the contemporary discourse surrounding Artificial Intelligence (AI) in the context of their potential impact on societal dynamics. Especially, recognizing and considering political bias within LLM applications is central when closing in on the tipping point toward performative prediction. Then, being educated about potential effects and the societal behavior LLMs can drive at scale due to their interplay with human operators. In this way, the upcoming elections of the European Parliament will not remain unaffected by LLMs. We evaluate the political bias of the currently most popular open-source LLMs (instruct or assistant models) concerning political issues within the European Union (EU) from a German voter's perspective. To do so, we use the "Wahl-O-Mat", a voting advice application used in Germany. From the voting advice of the "Wahl-O-Mat" we quantize the degree of alignment of LLMs with German political parties. We show that larger models, such as Llama3-70B, tend to align more closely with left-leaning political parties, while smaller models often remain neutral, particularly when prompted in English. The central finding is, that LLMs are similarly biased, with low variances in the alignment with respect to a specific party. Our findings underline the importance of rigorously assessing and making bias transparent in LLMs to safeguard the integrity and trustworthiness of applications that employ the capabilities of performative prediction and the invisible hand of machine learning prediction and language generation.
• Abstract（参考訳）: 大規模言語モデル(LLMs)におけるバイアスの評価は、社会的ダイナミクスに対する潜在的な影響の文脈において、人工知能(AI)を取り巻く現代の議論において重要な関心事となっている。 特に,LLMアプリケーション内での政治的偏見の認識と考慮は,性能予測に向けてチップポイントを閉じる際に中心となる。 そして、潜在的効果と社会的行動について教育を受けることで、LLMは人間のオペレーターとの相互作用により、大規模に運転することができる。 このようにして、欧州議会の次の選挙は LLM の影響を受けないままである。 我々は、欧州連合(EU)内の政治問題に関して、現在最も人気のあるオープンソースLLM(インストラクションまたはアシスタントモデル)の政治的バイアスを、ドイツの有権者の視点から評価する。 そのために、ドイツで使われている投票アドバイスアプリケーション"Wahl-O-Mat"を使用します。 ウォール=オ=マト」の投票助言から、ドイツ政党とのLLMの整合度を定量化する。 Llama3-70Bのような大型モデルは、左派政党とより緊密に結びつく傾向にある一方で、小さなモデルは、特に英語で促された場合、中立であることが多い。 中心的な発見は、LLMも同様に偏りがあり、特定のパーティに対するアライメントのばらつきが低いことである。 本研究は,性能予測能力と機械学習予測および言語生成の目に見えない手を用いたアプリケーションの完全性と信頼性を守るため,LLMにおける偏見の透明化を厳格に評価することの重要性を明らかにした。

関連論文リスト

• GermanPartiesQA: Benchmarking Commercial Large Language Models for Political Bias and Sycophancy [20.06753067241866]
  我々は,OpenAI, Anthropic, Cohereの6つのLDMのアライメントをドイツ政党の立場と比較した。 我々は、主要なドイツの国会議員のベンチマークデータと社会デマグラフィーデータを用いて、迅速な実験を行う。
  論文  参考訳（メタデータ） (2024-07-25T13:04:25Z)
• Measuring Political Bias in Large Language Models: What Is Said and How It Is Said [46.1845409187583]
  政治問題に関するコンテンツの内容とスタイルの両方を分析し,LLMにおける政治的偏見を測定することを提案する。 提案尺度は, 生殖権や気候変動などの異なる政治課題を, それらのバイアスの内容(世代的物質)と様式(語彙的極性)の両方で考察する。
  論文  参考訳（メタデータ） (2024-03-27T18:22:48Z)
• Investigating Bias in LLM-Based Bias Detection: Disparities between LLMs and Human Perception [13.592532358127293]
  大規模言語モデル(LLM)におけるバイアスの存在と性質について検討する。 LLMが特に政治的バイアス予測やテキスト継続タスクにおいてバイアスを示すかどうかを調査する。 我々は,素早い工学とモデル微調整を含む脱バイアス戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-22T00:59:48Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• The Political Preferences of LLMs [0.0]
  私は、テストテイカーの政治的嗜好を特定するために、11の政治的指向テストを実行し、24の最先端の会話型LLMを実行します。 ほとんどの会話型LLMは、ほとんどの政治的テスト機器によって、中心の視点の好みを示すものとして認識される応答を生成する。 LLMは、スーパービジョンファインチューニングを通じて、政治スペクトルの特定の場所に向けて操れることを実証します。
  論文  参考訳（メタデータ） (2024-02-02T02:43:10Z)
• Inducing Political Bias Allows Language Models Anticipate Partisan Reactions to Controversies [5.958974943807783]
  本研究では,Large Language Models (LLMs) を用いたデジタル談話における政治的偏見の理解の課題に対処する。 本稿では,Partisan Bias Divergence AssessmentとPartisan Class Tendency Predictionからなる包括的分析フレームワークを提案する。 以上の結果から,感情的・道徳的ニュアンスを捉えたモデルの有効性が明らかとなった。
  論文  参考訳（メタデータ） (2023-11-16T08:57:53Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Whose Opinions Do Language Models Reflect? [88.35520051971538]
  質の高い世論調査と関連する人的反応を利用して,言語モデル(LM)に反映された意見を検討する。 我々は、現在のLMが反映している見解と、アメリカの人口集団の見解の間にかなりの不一致を見出した。 我々の分析は、人間のフィードバック調整されたLMの左利き傾向に関する事前の観察を裏付けるものである。
  論文  参考訳（メタデータ） (2023-03-30T17:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。