論文の概要: Large Language Models Can Be Used to Estimate the Ideologies of
Politicians in a Zero-Shot Learning Setting
- arxiv url: http://arxiv.org/abs/2303.12057v1
- Date: Tue, 21 Mar 2023 17:48:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-22 13:54:23.410692
- Title: Large Language Models Can Be Used to Estimate the Ideologies of
Politicians in a Zero-Shot Learning Setting
- Title(参考訳): ゼロショット学習環境における政治家のイデオロギーの推定に大規模言語モデルを用いる
- Authors: Patrick Y. Wu, Joshua A. Tucker, Jonathan Nagler, Solomon Messing
- Abstract要約: 我々は、米国上院議員の潜在イデオロギーを測定するために、大きな言語モデルを使用します。
モデルが繰り返し繰り返して安定した回答を生成し、幻覚を起こさず、単一の情報源から情報を取り出すだけではありませんでした。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The mass aggregation of knowledge embedded in large language models (LLMs)
holds the promise of new solutions to problems of observability and measurement
in the social sciences. We examine the utility of one such model for a
particularly difficult measurement task: measuring the latent ideology of
lawmakers, which allows us to better understand functions that are core to
democracy, such as how politics shape policy and how political actors represent
their constituents. We scale the senators of the 116th United States Congress
along the liberal-conservative spectrum by prompting ChatGPT to select the more
liberal (or conservative) senator in pairwise comparisons. We show that the LLM
produced stable answers across repeated iterations, did not hallucinate, and
was not simply regurgitating information from a single source. This new scale
strongly correlates with pre-existing liberal-conservative scales such as
NOMINATE, but also differs in several important ways, such as correctly placing
senators who vote against their party for far-left or far-right ideological
reasons on the extreme ends. The scale also highly correlates with ideological
measures based on campaign giving and political activists' perceptions of these
senators. In addition to the potential for better-automated data collection and
information retrieval, our results suggest LLMs are likely to open new avenues
for measuring latent constructs like ideology that rely on aggregating large
quantities of data from public sources.
- Abstract(参考訳): 大規模言語モデル(LLM)に埋め込まれた知識の大量集約は、社会科学における可観測性や測定に関する問題に対する新しい解決策の可能性を秘めている。
議員の潜在イデオロギーを測定することで、政治がどのように政策を形作るか、政治家がその構成員をどのように表現するかといった民主主義の核となる機能をよりよく理解することができる。
我々は、第116アメリカ合衆国議会の上院議員をリベラル保守のスペクトルに沿ってスケールし、chatgptに対比較でよりリベラルな(または保守的な)上院議員を選ぶよう促す。
LLMは繰り返し繰り返して安定した回答を生成し、幻覚を起こさず、単一の情報源から情報を取り出すだけではありませんでした。
この新尺度は、ノミネートのような既存のリベラル保守的尺度と強く相関するが、極端に左派や極右のイデオロギー的な理由から党に投票する上院議員を正しく配置するなど、いくつかの重要な点で異なる。
また、この尺度は選挙運動や政治活動家のこれら上院議員に対する認識に基づくイデオロギー的措置と高い相関がある。
データの収集や情報検索がより自動化される可能性に加えて、llmは公共のソースから大量のデータを集約するイデオロギーのような潜在構造を測定するための新しい道を開く可能性が示唆されている。
関連論文リスト
- Beyond prompt brittleness: Evaluating the reliability and consistency of
political worldviews in LLMs [8.598491106068273]
大型言語モデル(LLM)は左利きの傾きを示す。
これらの傾きが信頼できるか(変化を促すために悪用されている)、また、その傾きが政策や政治的傾きに一貫しているかは、いまだに不明である。
本研究では、EU7カ国から収集した投票支援票のデータセットに基づいて、政治声明に対するLCMの姿勢の信頼性と整合性を評価する一連のテストを提案する。
論文 参考訳(メタデータ) (2024-02-27T16:19:37Z) - Do Membership Inference Attacks Work on Large Language Models? [145.90022632726883]
メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。
我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。
様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
論文 参考訳(メタデータ) (2024-02-12T17:52:05Z) - The Political Preferences of LLMs [0.0]
我々は、テストテイカーの政治的嗜好を特定するために、11の政治的指向テストを実施し、24の最先端の会話型LLMに対して実施する。
その結果、政治的意味のある質問や文章を調査すると、ほとんどの会話型LLMは、ほとんどの政治的テスト機器で診断される応答を、中心的な視点の好みを示すものとして生成する傾向にあることがわかった。
論文 参考訳(メタデータ) (2024-02-02T02:43:10Z) - Measuring Moral Inconsistencies in Large Language Models [16.47371312298185]
大言語モデル(LLM)は、意味的に等価なプロンプトが意味的に等価な応答を生成する場合、一貫性があると考えられる。
現状のLLMでさえ、その世代では非常に不整合であり、信頼性に疑問を呈している。
本稿では,SGE (Semantic Graph Entropy) と呼ばれる新たな情報理論尺度を提案する。
論文 参考訳(メタデータ) (2024-01-26T18:05:47Z) - Navigating the Ocean of Biases: Political Bias Attribution in Language
Models via Causal Structures [58.059631072902356]
我々は、LLMの価値観を批判したり、検証したりせず、どのようにして「良い議論」を解釈し、偏見づけるかを見極めることを目的としている。
本研究では,活動依存ネットワーク(ADN)を用いてLCMの暗黙的基準を抽出する。
人-AIアライメントとバイアス緩和について,本研究の結果について考察した。
論文 参考訳(メタデータ) (2023-11-15T00:02:25Z) - LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。
テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。
研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
論文 参考訳(メタデータ) (2023-11-13T15:08:59Z) - On the steerability of large language models toward data-driven personas [103.17413190093366]
協調フィルタリングに基づくデータ駆動型ペルソナ定義手法を提案する。
ユーザの連続表現を仮想トークンのシーケンスにマッピングするために,ソフトプロンプトモデルを学ぶ。
以上の結果から,本アルゴリズムはベースラインの収集よりも性能が優れていることがわかった。
論文 参考訳(メタデータ) (2023-11-08T19:01:13Z) - SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。
敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
論文 参考訳(メタデータ) (2023-10-05T17:01:53Z) - Whose Opinions Do Language Models Reflect? [88.35520051971538]
質の高い世論調査と関連する人的反応を利用して,言語モデル(LM)に反映された意見を検討する。
我々は、現在のLMが反映している見解と、アメリカの人口集団の見解の間にかなりの不一致を見出した。
我々の分析は、人間のフィードバック調整されたLMの左利き傾向に関する事前の観察を裏付けるものである。
論文 参考訳(メタデータ) (2023-03-30T17:17:08Z) - Modeling Political Activism around Gun Debate via Social Media [16.571752603108344]
我々は、人口と個人レベルで、オフラインの政治活動の予測因子を調べるためにソーシャルメディア信号を使用する。
我々は,特にネットワーク情報が利用可能な場合,銃問題におけるユーザの姿勢を分類することが可能であることを示す。
論文 参考訳(メタデータ) (2022-04-30T17:17:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。