論文の概要: Beyond prompt brittleness: Evaluating the reliability and consistency of
political worldviews in LLMs
- arxiv url: http://arxiv.org/abs/2402.17649v1
- Date: Tue, 27 Feb 2024 16:19:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 15:36:00.573912
- Title: Beyond prompt brittleness: Evaluating the reliability and consistency of
political worldviews in LLMs
- Title(参考訳): 迅速脆性を超えて--llmsにおける政治的世界観の信頼性と一貫性の評価
- Authors: Tanise Ceron, Neele Falk, Ana Bari\'c, Dmitry Nikolaev, Sebastian
Pad\'o
- Abstract要約: 大型言語モデル(LLM)は左利きの傾きを示す。
これらの傾きが信頼できるか(変化を促すために悪用されている)、また、その傾きが政策や政治的傾きに一貫しているかは、いまだに不明である。
本研究では、EU7カ国から収集した投票支援票のデータセットに基づいて、政治声明に対するLCMの姿勢の信頼性と整合性を評価する一連のテストを提案する。
- 参考スコア(独自算出の注目度): 8.598491106068273
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to the widespread use of large language models (LLMs) in ubiquitous
systems, we need to understand whether they embed a specific worldview and what
these views reflect. Recent studies report that, prompted with political
questionnaires, LLMs show left-liberal leanings. However, it is as yet unclear
whether these leanings are reliable (robust to prompt variations) and whether
the leaning is consistent across policies and political leaning. We propose a
series of tests which assess the reliability and consistency of LLMs' stances
on political statements based on a dataset of voting-advice questionnaires
collected from seven EU countries and annotated for policy domains. We study
LLMs ranging in size from 7B to 70B parameters and find that their reliability
increases with parameter count. Larger models show overall stronger alignment
with left-leaning parties but differ among policy programs: They evince a
(left-wing) positive stance towards environment protection, social welfare but
also (right-wing) law and order, with no consistent preferences in foreign
policy, migration, and economy.
- Abstract(参考訳): ユビキタスシステムで大規模言語モデル(llm)が広く使われているため、特定の世界観が組み込まれているか、これらのビューが何を反映しているかを理解する必要がある。
最近の研究では、政治的アンケートによって、LLMは左利きの傾きを示した。
しかし、これらの傾きが信頼できるか(変動を促すためにロバストするか)、また、その傾きが政策と政治的傾きの間で一貫しているかは、まだ明らかではない。
本研究では、EU7カ国から収集された投票支援票のデータセットに基づいて、政治声明に対するLCMの姿勢の信頼性と整合性を評価する一連のテストを提案する。
本研究では, 7B から 70B までの大きさの LLM について検討し, パラメータ数によって信頼性が向上することを確認した。
より大規模なモデルは、左派政党との全体的な整合性を示すが、政策プログラムによって異なる: 環境保護、社会福祉、そして(右派)法と秩序に対する(左派)肯定的な姿勢、そして、外交政策、移民、経済に一貫した選好を持たない。
関連論文リスト
- Measuring Political Bias in Large Language Models: What Is Said and How It Is Said [46.1845409187583]
政治問題に関するコンテンツの内容とスタイルの両方を分析し,LLMにおける政治的偏見を測定することを提案する。
提案尺度は, 生殖権や気候変動などの異なる政治課題を, それらのバイアスの内容(世代的物質)と様式(語彙的極性)の両方で考察する。
論文 参考訳(メタデータ) (2024-03-27T18:22:48Z) - Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。
我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。
この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2024-03-15T04:02:24Z) - The Political Preferences of LLMs [0.0]
我々は、テストテイカーの政治的嗜好を特定するために、11の政治的指向テストを実施し、24の最先端の会話型LLMに対して実施する。
その結果、政治的意味のある質問や文章を調査すると、ほとんどの会話型LLMは、ほとんどの政治的テスト機器で診断される応答を、中心的な視点の好みを示すものとして生成する傾向にあることがわかった。
論文 参考訳(メタデータ) (2024-02-02T02:43:10Z) - Inducing Political Bias Allows Language Models Anticipate Partisan
Reactions to Controversies [5.958974943807783]
本研究では,Large Language Models (LLMs) を用いたデジタル談話における政治的偏見の理解の課題に対処する。
本稿では,Partisan Bias Divergence AssessmentとPartisan Class Tendency Predictionからなる包括的分析フレームワークを提案する。
以上の結果から,感情的・道徳的ニュアンスを捉えたモデルの有効性が明らかとなった。
論文 参考訳(メタデータ) (2023-11-16T08:57:53Z) - Navigating the Ocean of Biases: Political Bias Attribution in Language
Models via Causal Structures [58.059631072902356]
我々は、LLMの価値観を批判したり、検証したりせず、どのようにして「良い議論」を解釈し、偏見づけるかを見極めることを目的としている。
本研究では,活動依存ネットワーク(ADN)を用いてLCMの暗黙的基準を抽出する。
人-AIアライメントとバイアス緩和について,本研究の結果について考察した。
論文 参考訳(メタデータ) (2023-11-15T00:02:25Z) - Fake Alignment: Are LLMs Really Aligned Well? [91.26543768665778]
本研究では,複数質問とオープンエンド質問の相違点について検討した。
ジェイルブレイク攻撃パターンの研究にインスパイアされた我々は、これが不一致の一般化によって引き起こされたと論じている。
論文 参考訳(メタデータ) (2023-11-10T08:01:23Z) - Whose Opinions Do Language Models Reflect? [88.35520051971538]
質の高い世論調査と関連する人的反応を利用して,言語モデル(LM)に反映された意見を検討する。
我々は、現在のLMが反映している見解と、アメリカの人口集団の見解の間にかなりの不一致を見出した。
我々の分析は、人間のフィードバック調整されたLMの左利き傾向に関する事前の観察を裏付けるものである。
論文 参考訳(メタデータ) (2023-03-30T17:17:08Z) - Millions of Co-purchases and Reviews Reveal the Spread of Polarization
and Lifestyle Politics across Online Markets [68.8204255655161]
多様な市場において,異なる製品セグメントにおける分極とライフスタイル政治の広範性について検討する。
政治的に関連性があり、整列し、偏極化した製品カテゴリーを見つけるために、218万の市場組織間で236万の関連をサンプリングした。
文化製品は他のどの部分よりも4倍偏光度が高い。
論文 参考訳(メタデータ) (2022-01-17T18:16:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。