論文の概要: Political Bias Audits of LLMs Capture Sycophancy to the Inferred Auditor
- arxiv url: http://arxiv.org/abs/2604.27633v1
- Date: Thu, 30 Apr 2026 09:23:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-01 16:31:54.018755
- Title: Political Bias Audits of LLMs Capture Sycophancy to the Inferred Auditor
- Title(参考訳): LLMの政治的バイアス監査
- Authors: Petter Törnberg, Michelle Schimmel,
- Abstract要約: 大規模言語モデル(LLM)は、固定アンケートに対する反応に基づいて、政治的バイアスに対して一般的に評価される。
基準的政治的バイアス監査は、部分的には、想定された監査者への幻覚的宿泊を捉えていることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are commonly evaluated for political bias based on their responses to fixed questionnaires, which typically place frontier models on the political left. A parallel literature shows that LLMs are sycophantic: they adapt their answers to the views, identities, and expectations of the user. We show that these findings are linked: standard political-bias audits partly capture sycophantic accommodation to the inferred auditor. We employ a factorial experiment across three major audit instruments--the Political Compass Test, the Pew Political Typology, and 1,540 partisan-benchmarked Pew American Trends Panel items--administered to six frontier LLMs while varying only the asker's stated identity (N = 30,990 responses). At baseline, all six models lean left. When the asker identifies as a conservative Republican, responses shift sharply: the share of items closer to Democrats falls by 28-62 percentage points, and all six models move right of center. A mirror-image progressive-Democrat cue produces little change; rightward accommodation is 8.0$\times$ larger than leftward. When asked who the default asker is, models identify an auditor, researcher, or academic; when asked what answer that asker expects, they select the Democrat-coded option 75% of the time, nearly the rate under an explicit progressive cue. These patterns are inconsistent with a purely fixed model ideology and indicate that single-prompt audits capture an interaction between model and inferred interlocutor. Political bias in LLMs is therefore not a fixed point on an ideological scale but a response profile that must be mapped across realistic interlocutors.
- Abstract(参考訳): 大規模言語モデル (LLM) は、政治的左翼にフロンティアモデルを置く固定されたアンケートに対する反応に基づいて、政治的バイアスに対して一般的に評価される。
LLMはサイコファンであり、ユーザの見解、アイデンティティ、期待に答えを適用する。
標準的な政治的バイアス監査は、部分的には、想定された監査者への梅毒の収容を捉えている。
我々は,政治コンパステスト,ピュー政治タイポロジー,Pew American Trends Panel 項目1,540 項目を6つのフロンティア LLM に割り当てるとともに,アスカーの主張する同一性(N=30,990 応答)だけを変化させる要因実験を行った。
ベースラインでは、全6モデルが左に傾いている。
民主党に近い項目のシェアは28-62ポイント減少し、6つのモデルがすべて中央に移動している。
鏡像のプログレッシブデモクラトキューはほとんど変化がなく、右側の宿泊施設は左より8.0$\times$大きい。
モデルが監査人、研究者、あるいは学術者を特定すると、どの回答が期待できるかを尋ねると、彼らは民主党がコーディングしたオプションを75%選択する。
これらのパターンは、純粋に固定されたモデルイデオロギーと矛盾し、単一プロンプト監査がモデルと推論されたインターロケータ間の相互作用を捉えていることを示す。
したがって、LLMの政治的偏見はイデオロギー的な尺度における固定点ではなく、現実的なインターロケータ間でマッピングされなければならない応答プロファイルである。
関連論文リスト
- PoliticsBench: Benchmarking Political Values in Large Language Models with Multi-Turn Roleplay [0.5729426778193398]
本研究では政治ベンチを用いた8つの著名な大規模言語モデル(LLM)の政治的偏見について検討する。
商業的に開発されたLCMが、後段のロールプレイにおいてより顕著になるような、系統的な左利きバイアスを示すかどうかを検証する。
論文 参考訳(メタデータ) (2026-03-25T01:54:56Z) - Generalization to Political Beliefs from Fine-Tuning on Sports Team Preferences [0.0]
本研究は,LLMが沿岸スポーツチームか南部スポーツチームかを選好する微調整を行い,基本モデルのものとは大きく異なる政治的信念を取り入れた結果である。
彼らの反応は概して互いに似ており、明確なリベラルな偏見や保守的な偏見は見当たらない。
論文 参考訳(メタデータ) (2026-01-07T20:18:19Z) - PolBiX: Detecting LLMs' Political Bias in Fact-Checking through X-phemisms [1.0439136407307046]
我々は,ドイツの主張において,語句をエウヘミズムやディフェミズムと交換することで,政治的偏見を調査する。
政治的傾向よりも、判断的単語の存在が真理性評価に大きく影響していることが分かる。
論文 参考訳(メタデータ) (2025-09-18T18:26:53Z) - "Amazing, They All Lean Left" -- Analyzing the Political Temperaments of Current LLMs [5.754220850145368]
私たちはリベラルな価値、特に注意と公平性の強い一貫性のある優先順位付けを、ほとんどのモデルで見つけています。
この「自由の傾き」はプログラミングの誤りではなく、民主的権利に焦点を当てた言論に関するトレーニングの創発的な特性であると主張する。
民主的な言説を損なうのではなく、このパターンは、集合的推論を調べるための新しいレンズを提供するかもしれない。
論文 参考訳(メタデータ) (2025-07-08T21:19:25Z) - Democratic or Authoritarian? Probing a New Dimension of Political Biases in Large Language Models [72.89977583150748]
本研究では,大規模言語モデルとより広い地政学的価値システムとの整合性を評価する新しい手法を提案する。
LLMは一般的に民主的価値観や指導者を好んでいるが、マンダリンでの権威主義的人物に対する好意が増している。
論文 参考訳(メタデータ) (2025-06-15T07:52:07Z) - Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models [45.41676783204022]
大規模言語モデル(LLM)におけるバイアスの様々なプロキシ尺度について検討する。
MMLU (Multi-subject benchmark) を用いた人格評価モデルでは, スコアの無作為かつ大半がランダムな差が生じることがわかった。
LLMアシスタントメモリとパーソナライゼーションの最近の傾向により、これらの問題は異なる角度から開かれている。
論文 参考訳(メタデータ) (2025-06-12T08:47:40Z) - Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。
我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。
この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2024-03-15T04:02:24Z) - Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。
強制されない場合、モデルが実質的に異なる答えを与えることを示す。
我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
論文 参考訳(メタデータ) (2024-02-26T18:00:49Z) - What Do Llamas Really Think? Revealing Preference Biases in Language
Model Representations [62.91799637259657]
大規模言語モデル(LLMs)は、応答を辞退しても、社会的な偏見を示すか?
本研究は,文脈的埋め込みを探索し,このバイアスが潜在表現にエンコードされているかどうかを探索することによって検討する。
単語の隠れベクトルからLLMの単語ペア選好を予測するロジスティックなBradley-Terryプローブを提案する。
論文 参考訳(メタデータ) (2023-11-30T18:53:13Z) - Whose Opinions Do Language Models Reflect? [88.35520051971538]
質の高い世論調査と関連する人的反応を利用して,言語モデル(LM)に反映された意見を検討する。
我々は、現在のLMが反映している見解と、アメリカの人口集団の見解の間にかなりの不一致を見出した。
我々の分析は、人間のフィードバック調整されたLMの左利き傾向に関する事前の観察を裏付けるものである。
論文 参考訳(メタデータ) (2023-03-30T17:17:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。