論文の概要: Beyond prompt brittleness: Evaluating the reliability and consistency of political worldviews in LLMs

• arxiv url: http://arxiv.org/abs/2402.17649v2
• Date: Mon, 3 Jun 2024 22:25:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 12:38:37.468359
• Title: Beyond prompt brittleness: Evaluating the reliability and consistency of political worldviews in LLMs
• Title（参考訳）: 急激な不安定性を超えて--LLMにおける政治的世界観の信頼性と一貫性の評価
• Authors: Tanise Ceron, Neele Falk, Ana Barić, Dmitry Nikolaev, Sebastian Padó,
• Abstract要約: 政治声明に対する大規模言語モデルの姿勢の信頼性と整合性を評価するための一連のテストを提案する。 本研究では, 7B から 70B までの大きさの LLM について検討し, パラメータ数によって信頼性が向上することを確認した。 より大きなモデルは、左派政党との全体的な整合性を示すが、政策プログラムによって異なる。
• 参考スコア（独自算出の注目度）: 13.036825846417006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to the widespread use of large language models (LLMs) in ubiquitous systems, we need to understand whether they embed a specific worldview and what these views reflect. Recent studies report that, prompted with political questionnaires, LLMs show left-liberal leanings (Feng et al., 2023; Motoki et al., 2024). However, it is as yet unclear whether these leanings are reliable (robust to prompt variations) and whether the leaning is consistent across policies and political leaning. We propose a series of tests which assess the reliability and consistency of LLMs' stances on political statements based on a dataset of voting-advice questionnaires collected from seven EU countries and annotated for policy domains. We study LLMs ranging in size from 7B to 70B parameters and find that their reliability increases with parameter count. Larger models show overall stronger alignment with left-leaning parties but differ among policy programs: They evince a (left-wing) positive stance towards environment protection, social welfare state and liberal society but also (right-wing) law and order, with no consistent preferences in foreign policy and migration.
• Abstract（参考訳）: ユビキタスシステムで大規模言語モデル(LLM)が広く使われているため、それらが特定の世界観を埋め込んでいるのか、どのように反映されているのかを理解する必要がある。 近年の研究では、政治的アンケートにより、LLMは左利き(Feng et al , 2023; Motoki et al , 2024)を示すことが報告されている。 しかし、これらの傾きが信頼できるか(変動を促すために悪用されている)、また、その傾きが政策や政治的傾きに一貫したものであるかは定かではない。 本研究では、EU7カ国から収集された投票支援票のデータセットに基づいて、政治声明に対するLCMの姿勢の信頼性と整合性を評価する一連のテストを提案する。 本研究では, 7B から 70B までの大きさの LLM について検討し, パラメータ数によって信頼性が向上することを確認した。 より大規模なモデルは、左派政党との全体的な整合性を示すが、政策プログラムによって異なる: 環境保護、社会福祉国家、リベラル社会に対する(左派)肯定的な姿勢と、(右派)法と秩序を、外交政策と移民に一貫した好意を持たない。

関連論文リスト

• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• When Neutral Summaries are not that Neutral: Quantifying Political Neutrality in LLM-Generated News Summaries [0.0]
  本研究では, LLMの政治的中立性を定量化するための新たな視点を示す。 我々は、中絶、銃規制/権利、医療、移民、LGBTQ+の権利という、現在のアメリカの政治における5つの迫る問題について検討する。 我々の研究は、いくつかのよく知られたLLMにおいて、民主的偏見に対する一貫した傾向を明らかにした。
  論文  参考訳（メタデータ） (2024-10-13T19:44:39Z)
• Assessing Political Bias in Large Language Models [0.624709220163167]
  我々は、ドイツの有権者の視点から、欧州連合(EU)内の政治問題に関するオープンソースのLarge Language Models(LLMs)の政治的バイアスを評価する。 Llama3-70Bのような大型モデルは、左派政党とより緊密に連携する傾向にあるが、小さなモデルは中立であることが多い。
  論文  参考訳（メタデータ） (2024-05-17T15:30:18Z)
• Measuring Political Bias in Large Language Models: What Is Said and How It Is Said [46.1845409187583]
  政治問題に関するコンテンツの内容とスタイルの両方を分析し,LLMにおける政治的偏見を測定することを提案する。 提案尺度は, 生殖権や気候変動などの異なる政治課題を, それらのバイアスの内容(世代的物質)と様式(語彙的極性)の両方で考察する。
  論文  参考訳（メタデータ） (2024-03-27T18:22:48Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• The Political Preferences of LLMs [0.0]
  私は、テストテイカーの政治的嗜好を特定するために、11の政治的指向テストを実行し、24の最先端の会話型LLMを実行します。 ほとんどの会話型LLMは、ほとんどの政治的テスト機器によって、中心の視点の好みを示すものとして認識される応答を生成する。 LLMは、スーパービジョンファインチューニングを通じて、政治スペクトルの特定の場所に向けて操れることを実証します。
  論文  参考訳（メタデータ） (2024-02-02T02:43:10Z)
• Whose Opinions Do Language Models Reflect? [88.35520051971538]
  質の高い世論調査と関連する人的反応を利用して,言語モデル(LM)に反映された意見を検討する。 我々は、現在のLMが反映している見解と、アメリカの人口集団の見解の間にかなりの不一致を見出した。 我々の分析は、人間のフィードバック調整されたLMの左利き傾向に関する事前の観察を裏付けるものである。
  論文  参考訳（メタデータ） (2023-03-30T17:17:08Z)
• Millions of Co-purchases and Reviews Reveal the Spread of Polarization and Lifestyle Politics across Online Markets [68.8204255655161]
  多様な市場において,異なる製品セグメントにおける分極とライフスタイル政治の広範性について検討する。 政治的に関連性があり、整列し、偏極化した製品カテゴリーを見つけるために、218万の市場組織間で236万の関連をサンプリングした。 文化製品は他のどの部分よりも4倍偏光度が高い。
  論文  参考訳（メタデータ） (2022-01-17T18:16:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。