論文の概要: Only a Little to the Left: A Theory-grounded Measure of Political Bias in Large Language Models

• arxiv url: http://arxiv.org/abs/2503.16148v1
• Date: Thu, 20 Mar 2025 13:51:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:36:06.514474
• Title: Only a Little to the Left: A Theory-grounded Measure of Political Bias in Large Language Models
• Title（参考訳）: 左から左へ:大言語モデルにおける政治的バイアスの理論的尺度
• Authors: Mats Faulborn, Indira Sen, Max Pellert, Andreas Spitz, David Garcia,
• Abstract要約: プロンプトベースの言語モデルにおける政治的バイアスは、パフォーマンスに影響を与える可能性がある。 我々は、インプットプロンプトを多種多様にテストし、迅速な感度を考慮しつつ、サーベイ設計原則に基づいて構築する。 政治的偏見のプロファイルを様々な急激なバリエーションで計算し、政治的偏見の尺度が不安定であることに気付く。
• 参考スコア（独自算出の注目度）: 4.8869340671593475
• License:
• Abstract: Prompt-based language models like GPT4 and LLaMa have been used for a wide variety of use cases such as simulating agents, searching for information, or for content analysis. For all of these applications and others, political biases in these models can affect their performance. Several researchers have attempted to study political bias in language models using evaluation suites based on surveys, such as the Political Compass Test (PCT), often finding a particular leaning favored by these models. However, there is some variation in the exact prompting techniques, leading to diverging findings and most research relies on constrained-answer settings to extract model responses. Moreover, the Political Compass Test is not a scientifically valid survey instrument. In this work, we contribute a political bias measured informed by political science theory, building on survey design principles to test a wide variety of input prompts, while taking into account prompt sensitivity. We then prompt 11 different open and commercial models, differentiating between instruction-tuned and non-instruction-tuned models, and automatically classify their political stances from 88,110 responses. Leveraging this dataset, we compute political bias profiles across different prompt variations and find that while PCT exaggerates bias in certain models like GPT3.5, measures of political bias are often unstable, but generally more left-leaning for instruction-tuned models.
• Abstract（参考訳）: GPT4やLLaMaといったプロンプトベースの言語モデルは、エージェントのシミュレーション、情報検索、コンテンツ分析など、さまざまなユースケースで使用されている。 これらのアプリケーションや他のアプリケーションに対して、これらのモデルにおける政治的バイアスは、パフォーマンスに影響を与える可能性がある。 何人かの研究者は、政治コンパステスト(PCT)のような調査に基づく評価スイートを用いて、言語モデルにおける政治的バイアスの研究を試みた。 しかし、正確なプロンプト技術にはいくつかのバリエーションがあり、その結果は多様化し、ほとんどの研究はモデル応答を抽出するための制約された回答設定に依存している。 さらに、政治コンパステストは科学的に有効な調査手段ではない。 本研究は,政治科学理論によって測定された政治的バイアスに寄与し,多様なインプットプロンプトをテストするための調査設計原則を構築し,迅速な感度を考慮に入れた。 次に、11の異なるオープンモデルと商用モデルにプロンプトし、命令調整されたモデルと非命令調整されたモデルとを区別し、88,110のレスポンスから自動的に政治的スタンスを分類する。 このデータセットを利用することで、異なるプロンプトバリエーションの政治的バイアスプロファイルを計算し、PCTがGPT3.5のような特定のモデルでバイアスを誇張しているのに対して、政治的バイアスの尺度は不安定であることが多いが、一般的には、訓練されたモデルでは左寄りである。

関連論文リスト

• The Impact of Persona-based Political Perspectives on Hateful Content Detection [4.04666623219944]
  政治的に多様な言語モデルは、多くの研究者や組織にアクセスできない計算資源を必要とする。 近年の研究では、ペルソナをベースとしたプロンプトが、追加の訓練なしに、モデルアウトプットに政治的多様性をもたらすことが確認されている。 本稿では、下流業務における政治的事前訓練に匹敵する結果が得られるかどうかを考察する。
  論文  参考訳（メタデータ） (2025-02-01T09:53:17Z)
• On the Relationship between Truth and Political Bias in Language Models [22.57096615768638]
  我々は、言語モデルアライメントと政治科学の両方に不可欠な2つの概念の関係を分析することに注力する。 我々は、様々な人気真実性データセットの報酬モデルを訓練し、彼らの政治的偏見を評価する。 以上の結果から,これらのデータセットの真正性に対する報酬モデルの最適化は,政治的偏見を左右する傾向にあることが明らかとなった。
  論文  参考訳（メタデータ） (2024-09-09T02:28:53Z)
• High Risk of Political Bias in Black Box Emotion Inference Models [0.0]
  本稿では、社会科学研究における感情分析(SA)に使用される機械学習モデルにおける政治的バイアスの存在について検討する。 ポーランドの感情分析モデルを用いた偏見調査を行った。 以上の結果から, 人間のラテンダーによるアノテーションは, モデルの予測に政治的偏見を伝播させることが示唆された。
  論文  参考訳（メタデータ） (2024-07-18T20:31:07Z)
• Representation Bias in Political Sample Simulations with Large Language Models [54.48283690603358]
  本研究は,大規模言語モデルを用いた政治サンプルのシミュレーションにおけるバイアスの同定と定量化を目的とする。 GPT-3.5-Turboモデルを用いて、米国選挙研究、ドイツ縦割り選挙研究、ズオビアオデータセット、中国家族パネル研究のデータを活用する。
  論文  参考訳（メタデータ） (2024-07-16T05:52:26Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• Quantifying Bias in Text-to-Image Generative Models [49.60774626839712]
  テキスト・トゥ・イメージ(T2I)モデルにおけるバイアスは不公平な社会的表現を伝播させ、アイデアを積極的にマーケティングしたり、議論の的となっている議題を推進したりするのに用いられる。 既存のT2Iモデルバイアス評価手法は、社会的バイアスのみに焦点を当てる。 本稿では,T2I生成モデルにおける一般バイアスの定量化手法を提案する。
  論文  参考訳（メタデータ） (2023-12-20T14:26:54Z)
• Quantitative Analysis of Forecasting Models:In the Aspect of Online Political Bias [0.0]
  ソーシャルメディア投稿を5つの異なる政治傾向カテゴリーに分類する手法を提案する。 我々のアプローチは、政治的イデオロギーの異なる2つのソーシャルメディアデータセット上で、既存の時系列予測モデルを活用することである。
  論文  参考訳（メタデータ） (2023-09-11T16:17:24Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Inflating Topic Relevance with Ideology: A Case Study of Political Ideology Bias in Social Topic Detection Models [16.279854003220418]
  トレーニングデータにおける政治的イデオロギーバイアスの影響について検討する。 私たちの研究は、人間の選択した入力からバイアスを伝達する、大規模で複雑なモデルの受容性を強調します。 偏見を緩和する手段として,政治的イデオロギーに不変なテキスト表現の学習を提案する。
  論文  参考訳（メタデータ） (2020-11-29T05:54:03Z)
• UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
  未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。 モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。 我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
  論文  参考訳（メタデータ） (2020-10-06T01:49:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。