論文の概要: Investigating LLMs as Voting Assistants via Contextual Augmentation: A Case Study on the European Parliament Elections 2024
- arxiv url: http://arxiv.org/abs/2407.08495v2
- Date: Fri, 4 Oct 2024 09:25:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 22:17:54.908601
- Title: Investigating LLMs as Voting Assistants via Contextual Augmentation: A Case Study on the European Parliament Elections 2024
- Title（参考訳）: 2024年欧州議会議員選挙に関する事例研究
- Authors: Ilias Chalkidis,
- Abstract要約: 2024年の欧州議会議員選挙では、LLMsがVoting Advice Applications (VAA)として利用できるかどうかを調査している。
我々は、MISTRALとMIXTRALモデルを評価し、最新の「EUとI」投票支援アンケートに基づいて、政党の姿勢を予測する際の精度を評価した。
その結果、MIXTRALは平均82%の精度で精度が高く、異なる政治集団間で大きな性能差があることがわかった。
- 参考スコア（独自算出の注目度）: 22.471701390730185
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In light of the recent 2024 European Parliament elections, we are investigating if LLMs can be used as Voting Advice Applications (VAAs). We audit MISTRAL and MIXTRAL models and evaluate their accuracy in predicting the stance of political parties based on the latest "EU and I" voting assistance questionnaire. Furthermore, we explore alternatives to improve models' performance by augmenting the input context via Retrieval-Augmented Generation (RAG) relying on web search, and Self-Reflection using staged conversations that aim to re-collect relevant content from the model's internal memory. We find that MIXTRAL is highly accurate with an 82% accuracy on average with a significant performance disparity across different political groups (50-95%). Augmenting the input context with expert-curated information can lead to a significant boost of approx. 9%, which remains an open challenge for automated RAG approaches, even considering curated content.
- Abstract（参考訳）: 2024年の欧州議会議員選挙では、LLMがVoting Advice Applications (VAA)として利用できるかどうかを調査している。
我々は、MISTRALとMIXTRALモデルを評価し、最新の「EUとI」投票支援アンケートに基づいて、政党の姿勢を予測する際の精度を評価する。
さらに、Web検索に頼って入力コンテキストをRAG(Retrieval-Augmented Generation)によって拡張し、モデルの内部メモリから関連コンテンツを再収集することを目的とした、段階的会話を用いた自己回帰(Self-Reflection)により、モデルの性能を改善する方法を検討する。
その結果,MIXTRALは平均82%の精度で高い精度を示し,異なる政治グループ(50～95%)で有意な性能差が認められた。
入力コンテキストを専門家による情報で拡張することで、近似が大幅に向上する可能性がある。
これは、キュレートされたコンテンツを考慮しても、自動RAGアプローチのオープンな課題であり続けている。
関連論文リスト
- A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look [52.114284476700874]
本稿では,4つの異なる関連性評価手法が展開された大規模評価(TREC 2024 RAG Track)の結果について報告する。
自動生成UMBRELA判定は、完全に手動による判断を置き換えて、実行レベルの有効性を正確に捉えることができる。
意外なことに、LLMアシストは完全な手作業による評価と相関を増さないようで、人間のループプロセスに関連するコストは明らかな有意義な利益をもたらすものではないことを示唆している。
論文 参考訳（メタデータ） (2024-11-13T01:12:35Z) - Leveraging AI and Sentiment Analysis for Forecasting Election Outcomes in Mauritius [0.0]
本研究では,2024年のモーリシャス選挙に焦点をあて,AIによる感情分析を選挙結果を予測する新しいツールとして活用することを検討する。
我々は、主要な2つの政党であるL'Alliance LepepとL'Alliance Du Changementに対するメディアの感情を分析する。
調査結果は、肯定的なメディアの感情が、予測された選挙利益と強く相関していることを示し、メディアが大衆の認識を形作る役割を強調している。
論文 参考訳（メタデータ） (2024-10-28T09:21:15Z) - ElectionSim: Massive Population Election Simulation Powered by Large Language Model Driven Agents [70.17229548653852]
我々は,大規模言語モデルに基づく革新的な選挙シミュレーションフレームワークであるElectronSimを紹介する。
ソーシャルメディアプラットフォームからサンプリングした100万レベルの投票者プールを提示し、正確な個人シミュレーションを支援する。
PPEは、米国大統領選挙シナリオ下での我々の枠組みの性能を評価するための、世論調査に基づく大統領選挙ベンチマークである。
論文 参考訳（メタデータ） (2024-10-28T05:25:50Z) - Will Trump Win in 2024? Predicting the US Presidential Election via Multi-step Reasoning with Large Language Models [12.939107088730513]
選挙予測は、限られた有権者レベルのデータ、急速に変化する政治情勢、複雑な人間の振る舞いをモデル化する必要性など、ユニークな課題を生んでいる。
政治分析のための多段階推論フレームワークを提案する。
われわれのアプローチは、2016年と2020年のアメリカ大統領選挙研究(ANES)の実際のデータに基づいて検証されている。
我々は,2024年アメリカ合衆国大統領選挙の結果を事前に予測するために,我々の枠組みを適用した。
論文 参考訳（メタデータ） (2024-10-21T06:18:53Z) - Large language models can consistently generate high-quality content for election disinformation operations [2.98293101034582]
大規模言語モデルでは、説得力のある選挙偽情報を大規模に生成する可能性について懸念が高まっている。
本研究は,選挙偽情報処理の段階を自動化するLLMの能力について,二部構成で検討した。
論文 参考訳（メタデータ） (2024-08-13T08:45:34Z) - GermanPartiesQA: Benchmarking Commercial Large Language Models for Political Bias and Sycophancy [20.06753067241866]
我々は,OpenAI, Anthropic, Cohereの6つのLDMのアライメントをドイツ政党の立場と比較した。
我々は、主要なドイツの国会議員のベンチマークデータと社会デマグラフィーデータを用いて、迅速な実験を行う。
論文 参考訳（メタデータ） (2024-07-25T13:04:25Z) - Cutting Through the Noise: Boosting LLM Performance on Math Word Problems [52.99006895757801]
大規模言語モデルは数学用語の問題を解くのに優れるが、無関係な情報を含む現実世界の問題に苦戦する。
本稿では,無関係な変数を追加することで,MWPの逆変分を生成するプロンプトフレームワークを提案する。
敵の訓練インスタンスの微調整は、敵のMWPのパフォーマンスを8%向上させる。
論文 参考訳（メタデータ） (2024-05-30T18:07:13Z) - Large Language Models (LLMs) as Agents for Augmented Democracy [6.491009626125319]
我々は、市民の嗜好に関するデータを増やすために、既成のLLMを微調整した拡張民主主義システムについて検討する。
被験者の個人の政治的選択と参加者の全サンプルの集合的選好の両方をLLMが予測する精度を推定するために、列車試験のクロスバリデーション・セットアップを使用する。
論文 参考訳（メタデータ） (2024-05-06T13:23:57Z) - Adaptation with Self-Evaluation to Improve Selective Prediction in LLMs [56.526095828316386]
大規模言語モデル(LLM)の選択予測性能を改善するために,自己評価による適応のための新しいフレームワークを提案する。
提案手法は,様々な質問応答(QA)データセット上で評価し,最先端の選択的予測手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-18T03:34:59Z) - Democratizing LLMs: An Exploration of Cost-Performance Trade-offs in
Self-Refined Open-Source Models [53.859446823312126]
SoTAは7Bから65Bまでのさまざまなサイズのオープンソースモデルを平均して、ベースラインのパフォーマンスから8.2%改善している。
厳密に言えば、Vicuna-7Bのような非常に小さなメモリフットプリントを持つモデルでさえ、全体的な11.74%の改善と、高い創造性、オープンエンドタスクの25.39%の改善を示している。
論文 参考訳（メタデータ） (2023-10-11T15:56:00Z) - Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。
我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。
RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
論文 参考訳（メタデータ） (2023-09-04T08:28:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。