論文の概要: PoliticsBench: Benchmarking Political Values in Large Language Models with Multi-Turn Roleplay

• arxiv url: http://arxiv.org/abs/2603.23841v1
• Date: Wed, 25 Mar 2026 01:54:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.085664
• Title: PoliticsBench: Benchmarking Political Values in Large Language Models with Multi-Turn Roleplay
• Title（参考訳）: PoliticsBench: マルチターンロールプレイによる大規模言語モデルにおける政治的価値のベンチマーク
• Authors: Rohan Khetan, Ashna Khetan,
• Abstract要約: 本研究では政治ベンチを用いた8つの著名な大規模言語モデル(LLM)の政治的偏見について検討する。 商業的に開発されたLCMが、後段のロールプレイにおいてより顕著になるような、系統的な左利きバイアスを示すかどうかを検証する。
• 参考スコア（独自算出の注目度）: 0.5729426778193398
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Large Language Models (LLMs) are increasingly used as primary sources of information, their potential for political bias may impact their objectivity. Existing benchmarks of LLM social bias primarily evaluate gender and racial stereotypes. When political bias is included, it is typically measured at a coarse level, neglecting the specific values that shape sociopolitical leanings. This study investigates political bias in eight prominent LLMs (Claude, Deepseek, Gemini, GPT, Grok, Llama, Qwen Base, Qwen Instruction-Tuned) using PoliticsBench: a novel multi-turn roleplay framework adapted from the EQ-Bench-v3 psychometric benchmark. We test whether commercially developed LLMs display a systematic left-leaning bias that becomes more pronounced in later stages of multi-stage roleplay. Through twenty evolving scenarios, each model reported its stance and determined its course of action. Scoring these responses on a scale of ten political values, we explored the values underlying chatbots' deviations from unbiased standards. Seven of our eight models leaned left, while Grok leaned right. Each left-leaning LLM strongly exhibited liberal traits and moderately exhibited conservative ones. We discovered slight variations in alignment scores across stages of roleplay, with no particular pattern. Though most models used consequence-based reasoning, Grok frequently argued with facts and statistics. Our study presents the first psychometric evaluation of political values in LLMs through multi-stage, free-text interactions.
• Abstract（参考訳）: 大規模言語モデル (LLM) は情報の主要な情報源としてますます利用されているが、政治的偏見の可能性は、その客観性に影響を与える可能性がある。 LLMの社会的偏見の既存のベンチマークは、主に性別と人種的ステレオタイプを評価している。 政治的偏見を含む場合、通常は粗いレベルで測定され、社会政治の傾きを形成する特定の価値を無視する。 本研究は,EQ-Bench-v3心理指標を用いて,8つの著名なLCM(Claude, Deepseek, Gemini, GPT, Grok, Llama, Qwen Base, Qwen Instruction-Tuned)における政治的バイアスについて検討した。 商業的に開発されたLCMが、多段階ロールプレイの後期においてより顕著になるような、系統的な左利きバイアスを示すかどうかを検証する。 20の進化シナリオを通じて、各モデルは、そのスタンスを報告し、その行動方針を決定した。 これらの反応を10の政治的価値の尺度で表し、チャットボットの偏見の根底にある価値を、偏見のない基準から考察した。 うち7台は左に傾き、Grokは右に傾きました。 各左派はリベラルな特徴を強く示し、保守的な特徴を適度に示していた。 ロールプレイの段階におけるアライメントスコアの微妙な変化は,特定のパターンを伴わない。 ほとんどのモデルは結果に基づく推論を用いたが、グロクは事実と統計についてしばしば議論した。 本研究は,多段階・自由テキストインタラクションによるLLMにおける政治的価値の心理測定を行った最初の事例である。

関連論文リスト

• Multilingual Political Views of Large Language Models: Identification and Steering [11.071018930042909]
  大規模言語モデル(LLM)は、日々のツールやアプリケーションでますます使われており、政治的見解への潜在的な影響に対する懸念が高まっている。 政治コンパステスト(Political Compass Test)を用いて,14言語にまたがる7つのモデルの評価を行った。 以上の結果から,より大きなモデルがリバタリアンと左の位置に一貫して移行し,言語やモデルファミリに有意な変化が認められた。
  論文  参考訳（メタデータ） (2025-07-30T12:42:35Z)
• Democratic or Authoritarian? Probing a New Dimension of Political Biases in Large Language Models [72.89977583150748]
  本研究では,大規模言語モデルとより広い地政学的価値システムとの整合性を評価する新しい手法を提案する。 LLMは一般的に民主的価値観や指導者を好んでいるが、マンダリンでの権威主義的人物に対する好意が増している。
  論文  参考訳（メタデータ） (2025-06-15T07:52:07Z)
• Large Means Left: Political Bias in Large Language Models Increases with Their Number of Parameters [0.571853823214391]
  大規模言語モデル(LLM)は、主に多くの人が様々なトピックの主要な情報源として使っている。 LLMは、しばしば事実の誤りを犯したり、データ(幻覚)を作成したり、バイアスを提示したり、ユーザーが誤った情報に晒したり、意見に影響を与えたりする。 我々は、Wale-O-Matのスコアを用いて、ドイツ連邦議会の最近の投票の文脈において、人気のあるLLMの政治的バイアスを定量化する。
  論文  参考訳（メタデータ） (2025-05-07T13:18:41Z)
• Beyond Partisan Leaning: A Comparative Analysis of Political Bias in Large Language Models [6.549047699071195]
  本研究では、大規模言語モデルにおける政治的行動を評価するために、ペルソナフリーでトピック固有のアプローチを採用する。 米国、ヨーロッパ、中国、中東で開発された43の大規模言語モデルからの反応を分析した。 発見は、ほとんどのモデルが中心左あるいは左イデオロギー的にリーンであり、非党派的エンゲージメントパターンが異なることを示している。
  論文  参考訳（メタデータ） (2024-12-21T19:42:40Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。