論文の概要: The Political Preferences of LLMs
- arxiv url: http://arxiv.org/abs/2402.01789v2
- Date: Sun, 2 Jun 2024 04:48:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-04 19:13:07.259624
- Title: The Political Preferences of LLMs
- Title(参考訳): LLMの政治的選好
- Authors: David Rozado,
- Abstract要約: 私は、テストテイカーの政治的嗜好を特定するために、11の政治的指向テストを実行し、24の最先端の会話型LLMを実行します。
ほとんどの会話型LLMは、ほとんどの政治的テスト機器によって、中心の視点の好みを示すものとして認識される応答を生成する。
LLMは、スーパービジョンファインチューニングを通じて、政治スペクトルの特定の場所に向けて操れることを実証します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: I report here a comprehensive analysis about the political preferences embedded in Large Language Models (LLMs). Namely, I administer 11 political orientation tests, designed to identify the political preferences of the test taker, to 24 state-of-the-art conversational LLMs, both closed and open source. When probed with questions/statements with political connotations, most conversational LLMs tend to generate responses that are diagnosed by most political test instruments as manifesting preferences for left-of-center viewpoints. This does not appear to be the case for five additional base (i.e. foundation) models upon which LLMs optimized for conversation with humans are built. However, the weak performance of the base models at coherently answering the tests' questions makes this subset of results inconclusive. Finally, I demonstrate that LLMs can be steered towards specific locations in the political spectrum through Supervised Fine-Tuning (SFT) with only modest amounts of politically aligned data, suggesting SFT's potential to embed political orientation in LLMs. With LLMs beginning to partially displace traditional information sources like search engines and Wikipedia, the societal implications of political biases embedded in LLMs are substantial.
- Abstract(参考訳): 本稿では,Large Language Models (LLMs) に埋め込まれた政治的嗜好の包括的分析について報告する。
すなわち、テストテイカーの政治的嗜好を特定するために設計された11の政治的指向試験を、クローズドかつオープンソースの両方で24の最先端の会話型LLMに実施します。
政治的意味を持った質問や声明を調査すると、ほとんどの会話型LLMは、ほとんどの政治的テスト機器によって認識される応答を、中心的な視点の好みを示すものとして生成する傾向にある。
これは、LLMが人間との会話に最適化された5つの基礎モデル(すなわち基礎モデル)が構築されているというわけではない。
しかし、テストの疑問に忠実に答えるベースモデルの弱い性能は、この結果のサブセットを決定できないものにしている。
最後に、SFTが政治的指向をLLMに組み込む可能性を示唆する政治的整合性のあるデータのみを用いて、SFT(Supervised Fine-Tuning)を通じて、政治スペクトルの特定の場所に向けて、LLMを操ることが可能であることを実証する。
LLMは検索エンジンやウィキペディアのような伝統的な情報ソースを部分的に取り除き始めているため、LLMに埋め込まれた政治的偏見の社会的意味は大きい。
関連論文リスト
- GermanPartiesQA: Benchmarking Commercial Large Language Models for Political Bias and Sycophancy [20.06753067241866]
我々は,OpenAI, Anthropic, Cohereの6つのLDMのアライメントをドイツ政党の立場と比較した。
我々は、主要なドイツの国会議員のベンチマークデータと社会デマグラフィーデータを用いて、迅速な実験を行う。
論文 参考訳(メタデータ) (2024-07-25T13:04:25Z) - From Distributional to Overton Pluralism: Investigating Large Language Model Alignment [82.99849359892112]
適応後の応答多様性の低下を以前報告した再検査を行った。
分析の結果,応答の多様性の明らかな低下は,品質管理と情報集約によって大きく説明できることがわかった。
発見は、現在のアライメント技術はキャプチャーされるが、アシスタントライクなベースLLM動作の有用なサブセットを拡張するものではないことを示している。
論文 参考訳(メタデータ) (2024-06-25T16:32:33Z) - Assessing Political Bias in Large Language Models [0.624709220163167]
我々は、ドイツの有権者の視点から、欧州連合(EU)内の政治問題に関するオープンソースのLarge Language Models(LLMs)の政治的バイアスを評価する。
Llama3-70Bのような大型モデルは、左派政党とより緊密に連携する傾向にあるが、小さなモデルは中立であることが多い。
論文 参考訳(メタデータ) (2024-05-17T15:30:18Z) - Measuring Political Bias in Large Language Models: What Is Said and How It Is Said [46.1845409187583]
政治問題に関するコンテンツの内容とスタイルの両方を分析し,LLMにおける政治的偏見を測定することを提案する。
提案尺度は, 生殖権や気候変動などの異なる政治課題を, それらのバイアスの内容(世代的物質)と様式(語彙的極性)の両方で考察する。
論文 参考訳(メタデータ) (2024-03-27T18:22:48Z) - Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。
我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。
この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2024-03-15T04:02:24Z) - Beyond prompt brittleness: Evaluating the reliability and consistency of political worldviews in LLMs [13.036825846417006]
政治声明に対する大規模言語モデルの姿勢の信頼性と整合性を評価するための一連のテストを提案する。
本研究では, 7B から 70B までの大きさの LLM について検討し, パラメータ数によって信頼性が向上することを確認した。
より大きなモデルは、左派政党との全体的な整合性を示すが、政策プログラムによって異なる。
論文 参考訳(メタデータ) (2024-02-27T16:19:37Z) - Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。
強制されない場合、モデルが実質的に異なる答えを与えることを示す。
我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
論文 参考訳(メタデータ) (2024-02-26T18:00:49Z) - Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳(メタデータ) (2024-02-09T05:37:09Z) - Survey on Factuality in Large Language Models: Knowledge, Retrieval and
Domain-Specificity [61.54815512469125]
本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。
LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
論文 参考訳(メタデータ) (2023-10-11T14:18:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。