論文の概要: Better Aligned with Survey Respondents or Training Data? Unveiling Political Leanings of LLMs on U.S. Supreme Court Cases

• arxiv url: http://arxiv.org/abs/2502.18282v1
• Date: Tue, 25 Feb 2025 15:16:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 18:40:52.913485
• Title: Better Aligned with Survey Respondents or Training Data? Unveiling Political Leanings of LLMs on U.S. Supreme Court Cases
• Title（参考訳）: 調査責任や研修データに見合うもの : 米国最高裁判所事件におけるLCMの政治思想の展開
• Authors: Shanshan Xu, T. Y. S. S Santosh, Yanai Elazar, Quirin Vogel, Barbara Plank, Matthias Grabmair,
• Abstract要約: トレーニングコーパス形状モデルに埋め込まれた値とバイアスがどのように出力するかを実証的に検討する。 ケーススタディとして、米国最高裁判所32件のLLMの政治的傾向を調査することに焦点をあてる。
• 参考スコア（独自算出の注目度）: 24.622980403581018
• License:
• Abstract: The increased adoption of Large Language Models (LLMs) and their potential to shape public opinion have sparked interest in assessing these models' political leanings. Building on previous research that compared LLMs and human opinions and observed political bias in system responses, we take a step further to investigate the underlying causes of such biases by empirically examining how the values and biases embedded in training corpora shape model outputs. Specifically, we propose a method to quantitatively evaluate political leanings embedded in the large pretraining corpora. Subsequently we investigate to whom are the LLMs' political leanings more aligned with, their pretrainig corpora or the surveyed human opinions. As a case study, we focus on probing the political leanings of LLMs in 32 U.S. Supreme Court cases, addressing contentious topics such as abortion and voting rights. Our findings reveal that LLMs strongly reflect the political leanings in their training data, and no strong correlation is observed with their alignment to human opinions as expressed in surveys. These results underscore the importance of responsible curation of training data and the need for robust evaluation metrics to ensure LLMs' alignment with human-centered values.
• Abstract（参考訳）: LLM(Large Language Models)の採用の増加と世論形成の可能性は、これらのモデルの政治的傾向を評価することに関心を喚起している。 LLMと人的意見を比較し、システム応答における政治的偏見を観察する以前の研究に基づいて、これらの偏見の根底にある原因を、コーパス形状モデルに埋め込まれた値と偏見がどのように出力するかを実証的に検証することにより、さらに調査する。 具体的には,大規模な事前学習コーパスに埋め込まれた政治的傾きを定量的に評価する方法を提案する。 次に, LLM の政治的傾きが, 事前学習コーパス, 調査された人的意見とどちらに一致しているかを調査した。 ケーススタディとして、我々は、中絶や投票権などの論争的な話題に対処するため、米国最高裁判所32件のLLMの政治的傾向を調査することに焦点をあてる。 以上の結果から, LLMはトレーニングデータの政治的傾きを強く反映しており, 人的意見との整合性に強い相関は認められていないことが明らかとなった。 これらの結果は、LLMと人間中心の値との整合性を確保するために、トレーニングデータの責任あるキュレーションの重要性と、ロバストな評価指標の必要性を浮き彫りにした。

関連論文リスト

• Examining Alignment of Large Language Models through Representative Heuristics: The Case of Political Stereotypes [20.407518082067437]
  本研究では,大規模言語モデルと人間の意図と価値の整合性について考察する。 これまでの研究は、LLMが政治的傾向を示すことの正当性を強調してきた。 これらの偏差を定量化し、それらを引き起こす条件を特定します。
  論文  参考訳（メタデータ） (2025-01-24T07:24:23Z)
• Unpacking Political Bias in Large Language Models: A Cross-Model Comparison on U.S. Politics [6.253258189994455]
  人間社会における普遍的な現象としての政治的偏見は、大規模言語モデルに移される可能性がある。 政治バイアスは、モデルスケールとリリース日とともに進化し、LLMの地域要因にも影響される。
  論文  参考訳（メタデータ） (2024-12-21T19:42:40Z)
• Political-LLM: Large Language Models in Political Science [159.95299889946637]
  大規模言語モデル(LLM)は、政治科学のタスクで広く採用されている。 政治LLMは、LLMを計算政治科学に統合する包括的な理解を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-12-09T08:47:50Z)
• Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
  我々は、ある人口層に対する大きな言語モデルの暗黙の偏見を厳格に評価する。 心理測定の原則にインスパイアされた我々は,3つの攻撃的アプローチ,すなわち,軽視,軽視,指導を提案する。 提案手法は,LLMの内部バイアスを競合ベースラインよりも効果的に引き出すことができる。
  論文  参考訳（メタデータ） (2024-06-20T06:42:08Z)
• Assessing Political Bias in Large Language Models [0.624709220163167]
  我々は、ドイツの有権者の視点から、欧州連合(EU)内の政治問題に関するオープンソースのLarge Language Models(LLMs)の政治的バイアスを評価する。 Llama3-70Bのような大型モデルは、左派政党とより緊密に連携する傾向にあるが、小さなモデルは中立であることが多い。
  論文  参考訳（メタデータ） (2024-05-17T15:30:18Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Beyond prompt brittleness: Evaluating the reliability and consistency of political worldviews in LLMs [13.036825846417006]
  政治声明に対する大規模言語モデルの姿勢の信頼性と整合性を評価するための一連のテストを提案する。 本研究では, 7B から 70B までの大きさのモデルについて検討し, パラメータ数によって信頼性が向上することを確認した。 より大きなモデルは、左派政党との全体的な整合性を示すが、政策プログラムによって異なる。
  論文  参考訳（メタデータ） (2024-02-27T16:19:37Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Whose Opinions Do Language Models Reflect? [88.35520051971538]
  質の高い世論調査と関連する人的反応を利用して,言語モデル(LM)に反映された意見を検討する。 我々は、現在のLMが反映している見解と、アメリカの人口集団の見解の間にかなりの不一致を見出した。 我々の分析は、人間のフィードバック調整されたLMの左利き傾向に関する事前の観察を裏付けるものである。
  論文  参考訳（メタデータ） (2023-03-30T17:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。