論文の概要: Assessing Political Bias in Large Language Models

• arxiv url: http://arxiv.org/abs/2405.13041v1
• Date: Fri, 17 May 2024 15:30:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 04:41:59.085766
• Title: Assessing Political Bias in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける政治的バイアスの評価
• Authors: Luca Rettenberger, Markus Reischl, Mark Schutera,
• Abstract要約: 我々は、ドイツの観点から、政治問題に関する現在最も人気のあるオープンソースモデルのバイアスを評価した。 Llama3-70Bのような大型モデルは、GR "UNE"やVoltといった左派政党とより緊密に連携する傾向にある。 このことは、彼らの政治的スタンスを形成する上での言語の重要性を強調している。
• 参考スコア（独自算出の注目度）: 0.624709220163167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The assessment of societal biases within Large Language Models (LLMs) has emerged as a critical concern in the contemporary discourse surrounding Artificial Intelligence (AI) ethics and their impact. Especially, recognizing and considering political biases is important for practical applications to gain a deeper understanding of the possibilities and behaviors and to prevent unwanted statements. As the upcoming elections of the European Parliament will not remain unaffected by LLMs, we evaluate the bias of the current most popular open-source models concerning political issues within the European Union (EU) from a German perspective. To do so, we use the "Wahl-O-Mat", a voting advice application used in Germany, to determine which political party is the most aligned for the respective LLM. We show that larger models, such as Llama3-70B, tend to align more closely with left-leaning political parties like GR\"UNE and Volt, while smaller models often remain neutral, particularly in English. This highlights the nuanced behavior of LLMs and the importance of language in shaping their political stances. Our findings underscore the importance of rigorously assessing and addressing societal bias in LLMs to safeguard the integrity and fairness of applications that employ the power of modern machine learning methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)における社会的バイアスの評価は、人工知能(AI)倫理とその影響を取り巻く現代の議論において重要な関心事となっている。 特に、政治的偏見を認識し、考慮することは、可能性や行動についてより深く理解し、望ましくない言明を防ぐために、実践的な応用にとって重要である。 欧州議会の次期選挙はLLMの影響を受けないため、ドイツの観点からは、欧州連合(EU)内の政治問題に関する現在最も人気のあるオープンソースモデルのバイアスを評価します。 そのために、ドイツで使われている投票助言書である「ウォール・オ・マット」を用いて、どの政党がそれぞれの LLM に最も適しているかを決定する。 Llama3-70Bのような大型モデルは、GR\"UNEやVoltのような左派政党とより緊密に連携する傾向にある一方で、より小さなモデルは、特に英語では中立であることが多い。 このことは、LLMのニュアンスな行動と、彼らの政治的スタンスを形成する上での言語の重要性を強調している。 現代の機械学習手法の力を生かしたアプリケーションの完全性と公平性を保護するため,LLMにおける社会的偏見の厳密な評価と対処の重要性を強調した。

関連論文リスト

• Unpacking Political Bias in Large Language Models: Insights Across Topic Polarization [6.253258189994455]
  人間社会における普遍的な現象としての政治的偏見は、大規模言語モデルに移される可能性がある。 政治バイアスは、モデルスケールとリリース日とともに進化し、LLMの地域要因にも影響される。
  論文  参考訳（メタデータ） (2024-12-21T19:42:40Z)
• Algorithmic Fidelity of Large Language Models in Generating Synthetic German Public Opinions: A Case Study [23.458234676060716]
  本研究では,大規模言語モデル(LLM)のアルゴリズム的忠実度について検討する。 我々は、人口動態の特徴をペルソナのプロンプトに組み込むことで、ドイツのサブポピュレーションを反映した合成世論を生成するよう、異なるLLMに促す。 以上の結果から,Llama は他の LLM よりも,特にグループ内での意見の多様性が低い場合には,サブポピュレーションの表現に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-12-17T18:46:32Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• A Multi-LLM Debiasing Framework [85.17156744155915]
  大規模言語モデル(LLM)は、社会に多大な利益をもたらす可能性がある強力なツールであるが、社会的不平等を持続するバイアスを示す。 近年,マルチLLM手法への関心が高まっており,推論の質向上に有効であることが示されている。 LLMのバイアス低減を目的としたマルチLLMデバイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T20:24:50Z)
• GermanPartiesQA: Benchmarking Commercial Large Language Models for Political Bias and Sycophancy [20.06753067241866]
  我々は,OpenAI, Anthropic, Cohereの6つのLDMのアライメントをドイツ政党の立場と比較した。 我々は、主要なドイツの国会議員のベンチマークデータと社会デマグラフィーデータを用いて、迅速な実験を行う。
  論文  参考訳（メタデータ） (2024-07-25T13:04:25Z)
• Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
  我々は、ある人口層に対する大きな言語モデルの暗黙の偏見を厳格に評価する。 心理測定の原則にインスパイアされた我々は,3つの攻撃的アプローチ,すなわち,軽視,軽視,指導を提案する。 提案手法は,LLMの内部バイアスを競合ベースラインよりも効果的に引き出すことができる。
  論文  参考訳（メタデータ） (2024-06-20T06:42:08Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。