論文の概要: LLM-POTUS Score: A Framework of Analyzing Presidential Debates with Large Language Models

• arxiv url: http://arxiv.org/abs/2409.08147v1
• Date: Thu, 12 Sep 2024 15:40:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 15:55:10.034721
• Title: LLM-POTUS Score: A Framework of Analyzing Presidential Debates with Large Language Models
• Title（参考訳）: LLM-POTUS Score: 大規模言語モデルによる大統領討論の分析フレームワーク
• Authors: Zhengliang Liu, Yiwei Li, Oleksandra Zolotarevych, Rongwei Yang, Tianming Liu,
• Abstract要約: 本稿では,大規模言語モデルを用いた大統領討論のパフォーマンス評価手法を提案する。 本研究では, 候補者の「政策, ペルソナ, パーソナ, パースペクティブ」(3P)と, 4つの主要オーディエンスグループの「関心, イデオロギー, アイデンティティ」とどのように共鳴するかを分析する枠組みを提案する。 提案手法では,LLM-POTUSスコアを生成するために,大規模な言語モデルを用いる。
• 参考スコア（独自算出の注目度）: 33.251235538905895
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have demonstrated remarkable capabilities in natural language processing, yet their application to political discourse analysis remains underexplored. This paper introduces a novel approach to evaluating presidential debate performances using LLMs, addressing the longstanding challenge of objectively assessing debate outcomes. We propose a framework that analyzes candidates' "Policies, Persona, and Perspective" (3P) and how they resonate with the "Interests, Ideologies, and Identity" (3I) of four key audience groups: voters, businesses, donors, and politicians. Our method employs large language models to generate the LLM-POTUS Score, a quantitative measure of debate performance based on the alignment between 3P and 3I. We apply this framework to analyze transcripts from recent U.S. presidential debates, demonstrating its ability to provide nuanced, multi-dimensional assessments of candidate performances. Our results reveal insights into the effectiveness of different debating strategies and their impact on various audience segments. This study not only offers a new tool for political analysis but also explores the potential and limitations of using LLMs as impartial judges in complex social contexts. In addition, this framework provides individual citizens with an independent tool to evaluate presidential debate performances, which enhances democratic engagement and reduces reliance on potentially biased media interpretations and institutional influence, thereby strengthening the foundation of informed civic participation.
• Abstract（参考訳）: 大規模言語モデルは自然言語処理において顕著な能力を示してきたが、政治談話分析への応用はいまだ未解明である。 本稿では,LLMを用いた大統領討論会のパフォーマンス評価に新たなアプローチを導入し,議論成果を客観的に評価する上での長年の課題に対処する。 本研究では, 候補者の「政策, ペルソナ, パーソナ, パースペクティブ」(3P)を分析し, 有権者, 企業, ドナー, 政治家の4つの主要オーディエンスグループの「関心, イデオロギー, アイデンティティ」とどのように共鳴するかを分析する枠組みを提案する。 提案手法では,3Pと3Iのアライメントに基づく議論性能の定量的尺度であるLLM-POTUS Scoreを生成するために,大規模言語モデルを用いる。 本稿では,近年の米大統領討論会の原稿の分析にこの枠組みを適用し,候補性能の微妙な多次元評価を行う能力を実証する。 本研究は,様々な議論戦略の有効性と,様々なオーディエンスセグメントへの影響について考察した。 本研究は、政治分析のための新しいツールを提供するだけでなく、複雑な社会的文脈における公平な判断としてLLMを使用することの可能性と限界についても検討する。 さらに、この枠組みは、個人の市民に、民主的エンゲージメントを高め、潜在的に偏見のあるメディア解釈と制度的影響力への依存を減らし、情報的な市民参加の基盤を強化する、大統領討論のパフォーマンスを評価するための独立したツールを提供する。

関連論文リスト

• ElectionSim: Massive Population Election Simulation Powered by Large Language Model Driven Agents [70.17229548653852]
  我々は,大規模言語モデルに基づく革新的な選挙シミュレーションフレームワークであるElectronSimを紹介する。 ソーシャルメディアプラットフォームからサンプリングした100万レベルの投票者プールを提示し、正確な個人シミュレーションを支援する。 PPEは、米国大統領選挙シナリオ下での我々の枠組みの性能を評価するための、世論調査に基づく大統領選挙ベンチマークである。
  論文  参考訳（メタデータ） (2024-10-28T05:25:50Z)
• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Representation Bias in Political Sample Simulations with Large Language Models [54.48283690603358]
  本研究は,大規模言語モデルを用いた政治サンプルのシミュレーションにおけるバイアスの同定と定量化を目的とする。 GPT-3.5-Turboモデルを用いて、米国選挙研究、ドイツ縦割り選挙研究、ズオビアオデータセット、中国家族パネル研究のデータを活用する。
  論文  参考訳（メタデータ） (2024-07-16T05:52:26Z)
• Can LLMs Help Predict Elections? (Counter)Evidence from the World's Largest Democracy [3.0915192911449796]
  ソーシャルメディアが世論の形成にどのように影響し、政治的結果に影響を及ぼすかについての研究は、一般的な調査分野である。 本稿では,Large Language Models (LLMs) の機能を活用し,ソーシャルメディアデータを調べ,選挙結果を予測する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-13T15:13:23Z)
• Llama meets EU: Investigating the European Political Spectrum through the Lens of LLMs [18.836470390824633]
  我々は、Llama ChatをEU政治の文脈で監査し、モデルの政治的知識と文脈における推論能力を分析する。 我々は、欧州議会で議論された個々のユーロ党の演説に対して、さらなる微調整、すなわちラマ・チャット(Llama Chat)を適用して、その政治的傾向を再評価した。
  論文  参考訳（メタデータ） (2024-03-20T13:42:57Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• Inducing Political Bias Allows Language Models Anticipate Partisan Reactions to Controversies [5.958974943807783]
  本研究では,Large Language Models (LLMs) を用いたデジタル談話における政治的偏見の理解の課題に対処する。 本稿では,Partisan Bias Divergence AssessmentとPartisan Class Tendency Predictionからなる包括的分析フレームワークを提案する。 以上の結果から,感情的・道徳的ニュアンスを捉えたモデルの有効性が明らかとなった。
  論文  参考訳（メタデータ） (2023-11-16T08:57:53Z)
• Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
  本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。 GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
  論文  参考訳（メタデータ） (2023-05-31T15:03:28Z)
• An Item Response Theory Framework for Persuasion [3.0938904602244346]
  本稿では,言語における議論の説得性の分析に,教育や政治科学研究で人気のある項目応答理論を適用した。 我々は、政治擁護の領域における新しいデータセットを含む3つのデータセットに対して、モデルの性能を実証的に評価する。
  論文  参考訳（メタデータ） (2022-04-24T19:14:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。