Fugu-MT 論文翻訳(概要): Scaling Political Texts with Large Language Models: Asking a Chatbot Might Be All You Need

論文の概要: Scaling Political Texts with Large Language Models: Asking a Chatbot Might Be All You Need

arxiv url: http://arxiv.org/abs/2311.16639v2
Date: Mon, 13 May 2024 14:16:05 GMT
ステータス: 処理完了
システム内更新日: 2024-05-15 00:53:00.193200
Title: Scaling Political Texts with Large Language Models: Asking a Chatbot Might Be All You Need
Title（参考訳）: 大規模な言語モデルで政治テキストをスケールする: チャットボットがすべて必要かもしれない
Authors: Gaël Le Mens, Aina Gallego,
Abstract要約: 我々は、政策やイデオロギーの空間に政治的テキストを配置するために、LLM(Large Language Models)を用いている。経済・社会・移民政策の側面にイギリスの党宣言を拡大することで、このアプローチを実証し、検証する。専門家、クラウドワーカー、ロールコール投票によるコーディングに基づく最高のLCMとベンチマークで得られた位置推定値の相関は、90を超えている。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We use instruction-tuned Large Language Models (LLMs) such as GPT-4, MiXtral, and Llama 3 to position political texts within policy and ideological spaces. We directly ask the LLMs where a text document or its author stand on the focal policy dimension. We illustrate and validate the approach by scaling British party manifestos on the economic, social, and immigration policy dimensions; speeches from a European Parliament debate in 10 languages on the anti- to pro-subsidy dimension; Senators of the 117th US Congress based on their tweets on the left-right ideological spectrum; and tweets published by US Representatives and Senators after the training cutoff date of GPT-4. The correlation between the position estimates obtained with the best LLMs and benchmarks based on coding by experts, crowdworkers or roll call votes exceeds .90. This training-free approach also outperforms supervised classifiers trained on large amounts of data. Using instruction-tuned LLMs to scale texts in policy and ideological spaces is fast, cost-efficient, reliable, and reproducible (in the case of open LLMs) even if the texts are short and written in different languages. We conclude with cautionary notes about the need for empirical validation.
Abstract（参考訳）: 我々は GPT-4, MiXtral, Llama 3 などの命令調整型大規模言語モデル (LLM) を用いて政策やイデオロギー空間内に政治的テキストを配置する。文献や著者が焦点政策の面においてどこに立っているのかを直接問う。本稿では、イギリスの政党宣言を経済・社会・移民政策の次元にスケールさせることによるアプローチの実証と検証、反正反対の次元に関する欧州議会の10か国語に関する演説、右派のイデオロギースペクトルに関するツイートに基づく第117回米国議会議員、GPT-4のトレーニング遮断後の米国下院議員および上院議員によるツイートについて述べる。専門家、クラウドワーカー、ロールコール投票によるコーディングに基づく最高のLCMとベンチマークで得られた位置推定値の相関は、.90を超えている。このトレーニングフリーなアプローチは、大量のデータでトレーニングされた教師付き分類器よりも優れている。ポリシーやイデオロギー空間でテキストをスケールするために命令調整されたLLMを使うことは、たとえテキストが短く、異なる言語で書かれていても、高速で、費用効率が高く、信頼性があり、再現可能である(オープンなLLMの場合)。実証的検証の必要性について注意書きを締めくくる。

関連論文リスト

GermanPartiesQA: Benchmarking Commercial Large Language Models for Political Bias and Sycophancy [20.06753067241866]
我々は,OpenAI, Anthropic, Cohereの6つのLDMのアライメントをドイツ政党の立場と比較した。我々は、主要なドイツの国会議員のベンチマークデータと社会デマグラフィーデータを用いて、迅速な実験を行う。
論文参考訳（メタデータ） (2024-07-25T13:04:25Z)
Large Language Models' Detection of Political Orientation in Newspapers [0.0]
新聞の立場をよりよく理解するための様々な方法が開発されている。 LLM(Large Language Models)の出現は、研究者や市民を補助する破壊的な可能性を秘めている。我々は,広く採用されている4つのLCMが新聞の位置づけを評価する方法を比較し,その回答が相互に一致しているかどうかを比較する。膨大なデータセットを通じて、新聞の記事は単一のLCMによって著しく異なる位置に配置され、アルゴリズムの一貫性のないトレーニングや過度なランダム性を示唆している。
論文参考訳（メタデータ） (2024-05-23T06:18:03Z)
Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
論文参考訳（メタデータ） (2024-03-15T04:02:24Z)
Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文参考訳（メタデータ） (2024-02-09T05:37:09Z)
AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
AlignedCoTは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。数学的推論とコモンセンス推論の実験を行う。
論文参考訳（メタデータ） (2023-11-22T17:24:21Z)
How to Use Large Language Models for Text Coding: The Case of Fatherhood Roles in Public Policy Documents [21.090506974145566]
大規模言語モデル(LLM)は、政治科学におけるテキスト分析の新しい機会を開いた。本研究では,非英語政治科学テキストの3つの元の符号化課題についてLLMを評価した。
論文参考訳（メタデータ） (2023-11-20T15:34:45Z)
LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
論文参考訳（メタデータ） (2023-11-13T15:08:59Z)
Cue-CoT: Chain-of-thought Prompting for Responding to In-depth Dialogue Questions with LLMs [59.74002011562726]
我々は、よりパーソナライズされ魅力的な応答を提供するために、新しい言語的キューに基づく思考の連鎖(textitCue-CoT)を提案する。中国語と英語の6つのデータセットからなる詳細な対話質問を用いたベンチマークを構築した。実験により,提案手法は,すべてのデータセットにおいて,テクステルパーフルネスとテクスチタアクセプタビリティの両方の観点から,標準的プロンプト法よりも優れていることを示す。
論文参考訳（メタデータ） (2023-05-19T16:27:43Z)
ChatGPT-4 Outperforms Experts and Crowd Workers in Annotating Political Twitter Messages with Zero-Shot Learning [0.0]
本稿では、ツイートの内容に基づいて、Twitterポスターの政治的関連を分類するテキスト分析タスクにおいて、Large Language Model (LLM) ChatGPT-4の精度、信頼性、バイアスを評価する。 2020年の大統領選挙では、米国政治家のTwitterメッセージを使い、正確さを測定するための根拠となる真実を提供します。
論文参考訳（メタデータ） (2023-04-13T14:51:40Z)
Can Large Language Models Transform Computational Social Science? [79.62471267510963]
大規模言語モデル(LLM)は、(トレーニングデータなしで)ゼロショットで多くの言語処理タスクを実行することができるこの研究は、計算社会科学ツールとしてLLMを使用するためのロードマップを提供する。
論文参考訳（メタデータ） (2023-04-12T17:33:28Z)
Large Language Models Can Be Used to Estimate the Latent Positions of Politicians [3.9940425551415597]
既存の政治家の潜伏姿勢を推定するアプローチは、関連するデータが限られると失敗することが多い。我々は、生成的大言語モデルに埋め込まれた知識を活用して、特定の政治的・政策的な側面に沿って議員の立場を測定する。我々は、リベラル保守的イデオロギー、銃規制、中絶に関する米国上院議員の立場に関する新しい措置を見積もる。
論文参考訳（メタデータ） (2023-03-21T17:48:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。