論文の概要: Scaling Political Texts with Large Language Models: Asking a Chatbot Might Be All You Need

• arxiv url: http://arxiv.org/abs/2311.16639v2
• Date: Mon, 13 May 2024 14:16:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 00:53:00.193200
• Title: Scaling Political Texts with Large Language Models: Asking a Chatbot Might Be All You Need
• Title（参考訳）: 大規模な言語モデルで政治テキストをスケールする: チャットボットがすべて必要かもしれない
• Authors: Gaël Le Mens, Aina Gallego,
• Abstract要約: 我々は、政策やイデオロギーの空間に政治的テキストを配置するために、LLM(Large Language Models)を用いている。 経済・社会・移民政策の側面にイギリスの党宣言を拡大することで、このアプローチを実証し、検証する。 専門家、クラウドワーカー、ロールコール投票によるコーディングに基づく最高のLCMとベンチマークで得られた位置推定値の相関は、90を超えている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We use instruction-tuned Large Language Models (LLMs) such as GPT-4, MiXtral, and Llama 3 to position political texts within policy and ideological spaces. We directly ask the LLMs where a text document or its author stand on the focal policy dimension. We illustrate and validate the approach by scaling British party manifestos on the economic, social, and immigration policy dimensions; speeches from a European Parliament debate in 10 languages on the anti- to pro-subsidy dimension; Senators of the 117th US Congress based on their tweets on the left-right ideological spectrum; and tweets published by US Representatives and Senators after the training cutoff date of GPT-4. The correlation between the position estimates obtained with the best LLMs and benchmarks based on coding by experts, crowdworkers or roll call votes exceeds .90. This training-free approach also outperforms supervised classifiers trained on large amounts of data. Using instruction-tuned LLMs to scale texts in policy and ideological spaces is fast, cost-efficient, reliable, and reproducible (in the case of open LLMs) even if the texts are short and written in different languages. We conclude with cautionary notes about the need for empirical validation.
• Abstract（参考訳）: 我々は GPT-4, MiXtral, Llama 3 などの命令調整型大規模言語モデル (LLM) を用いて政策やイデオロギー空間内に政治的テキストを配置する。 文献や著者が焦点政策の面においてどこに立っているのかを直接問う。 本稿では、イギリスの政党宣言を経済・社会・移民政策の次元にスケールさせることによるアプローチの実証と検証、反正反対の次元に関する欧州議会の10か国語に関する演説、右派のイデオロギースペクトルに関するツイートに基づく第117回米国議会議員、GPT-4のトレーニング遮断後の米国下院議員および上院議員によるツイートについて述べる。 専門家、クラウドワーカー、ロールコール投票によるコーディングに基づく最高のLCMとベンチマークで得られた位置推定値の相関は、.90を超えている。 このトレーニングフリーなアプローチは、大量のデータでトレーニングされた教師付き分類器よりも優れている。 ポリシーやイデオロギー空間でテキストをスケールするために命令調整されたLLMを使うことは、たとえテキストが短く、異なる言語で書かれていても、高速で、費用効率が高く、信頼性があり、再現可能である(オープンなLLMの場合)。 実証的検証の必要性について注意書きを締めくくる。

関連論文リスト

• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Large Language Models' Detection of Political Orientation in Newspapers [0.0]
  新聞の立場をよりよく理解するための様々な方法が開発されている。 LLM(Large Language Models)の出現は、研究者や市民を補助する破壊的な可能性を秘めている。 我々は,広く採用されている4つのLCMが新聞の位置づけを評価する方法を比較し,その回答が相互に一致しているかどうかを比較する。 膨大なデータセットを通じて、新聞の記事は単一のLCMによって著しく異なる位置に配置され、アルゴリズムの一貫性のないトレーニングや過度なランダム性を示唆している。
  論文  参考訳（メタデータ） (2024-05-23T06:18:03Z)
• Assessing Political Bias in Large Language Models [0.624709220163167]
  我々は、ドイツの有権者の視点から、欧州連合(EU)内の政治問題に関するオープンソースのLarge Language Models(LLMs)の政治的バイアスを評価する。 Llama3-70Bのような大型モデルは、左派政党とより緊密に連携する傾向にあるが、小さなモデルは中立であることが多い。
  論文  参考訳（メタデータ） (2024-05-17T15:30:18Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• The Political Preferences of LLMs [0.0]
  私は、テストテイカーの政治的嗜好を特定するために、11の政治的指向テストを実行し、24の最先端の会話型LLMを実行します。 ほとんどの会話型LLMは、ほとんどの政治的テスト機器によって、中心の視点の好みを示すものとして認識される応答を生成する。 LLMは、スーパービジョンファインチューニングを通じて、政治スペクトルの特定の場所に向けて操れることを実証します。
  論文  参考訳（メタデータ） (2024-02-02T02:43:10Z)
• Measurement in the Age of LLMs: An Application to Ideological Scaling [1.9413548770753526]
  本稿では,大規模言語モデル(LLM)を用いて,社会科学的測定タスクに固有の概念的乱雑を探索する。 我々は、議員とテキストの両方のイデオロギー的尺度を引き出すために、LLMの顕著な言語的流布に依存している。
  論文  参考訳（メタデータ） (2023-12-14T18:34:06Z)
• AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
  Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。 ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。 数学的推論とコモンセンス推論の実験を行う。
  論文  参考訳（メタデータ） (2023-11-22T17:24:21Z)
• Towards Human-Level Text Coding with LLMs: The Case of Fatherhood Roles in Public Policy Documents [19.65846717628022]
  大きな言語モデル(LLM)は、より良い結果と少ないプログラミングで自動化を約束します。 本研究では,政治科学の現場で遭遇する典型的複雑度を含む3つのプログラミング課題についてLLMを評価した。 もっとも優れたプロンプト戦略は、人間のプログラマに提供されるような、詳細なコードブックをLLMに提供することにある。
  論文  参考訳（メタデータ） (2023-11-20T15:34:45Z)
• LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
  不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。 テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。 研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
  論文  参考訳（メタデータ） (2023-11-13T15:08:59Z)
• Cue-CoT: Chain-of-thought Prompting for Responding to In-depth Dialogue Questions with LLMs [59.74002011562726]
  我々は、よりパーソナライズされ魅力的な応答を提供するために、新しい言語的キューに基づく思考の連鎖(textitCue-CoT)を提案する。 中国語と英語の6つのデータセットからなる詳細な対話質問を用いたベンチマークを構築した。 実験により,提案手法は,すべてのデータセットにおいて,テクステルパーフルネスとテクスチタアクセプタビリティの両方の観点から,標準的プロンプト法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-19T16:27:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。