論文の概要: LLM Voting: Human Choices and AI Collective Decision Making
- arxiv url: http://arxiv.org/abs/2402.01766v3
- Date: Wed, 14 Aug 2024 13:41:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-15 18:16:52.855918
- Title: LLM Voting: Human Choices and AI Collective Decision Making
- Title(参考訳): LLM投票:人間の選択とAIによる集団決定
- Authors: Joshua C. Yang, Damian Dailisan, Marcin Korecki, Carina I. Hausladen, Dirk Helbing,
- Abstract要約: 本稿では,大規模言語モデル (LLM) の投票行動,特に GPT-4 と LLaMA-2 について検討する。
投票方法の選択と提示順序がLLM投票結果に影響を及ぼすことがわかった。
さまざまな人格がこれらのバイアスの一部を減らし、人間の選択との整合性を高めることができることがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper investigates the voting behaviors of Large Language Models (LLMs), specifically GPT-4 and LLaMA-2, their biases, and how they align with human voting patterns. Our methodology involved using a dataset from a human voting experiment to establish a baseline for human preferences and conducting a corresponding experiment with LLM agents. We observed that the choice of voting methods and the presentation order influenced LLM voting outcomes. We found that varying the persona can reduce some of these biases and enhance alignment with human choices. While the Chain-of-Thought approach did not improve prediction accuracy, it has potential for AI explainability in the voting process. We also identified a trade-off between preference diversity and alignment accuracy in LLMs, influenced by different temperature settings. Our findings indicate that LLMs may lead to less diverse collective outcomes and biased assumptions when used in voting scenarios, emphasizing the need for cautious integration of LLMs into democratic processes.
- Abstract(参考訳): 本稿では,大規模言語モデル (LLM) の投票行動,特に GPT-4 と LLaMA-2 の偏り,人間の投票パターンとの整合性について検討する。
提案手法では,人間の投票実験から得られたデータセットを用いて人選好のベースラインを確立し,LLMエージェントを用いて対応する実験を行った。
投票方法の選択と提示順序がLLM投票結果に影響を及ぼすことがわかった。
さまざまな人格がこれらのバイアスの一部を減らし、人間の選択との整合性を高めることができることがわかった。
Chain-of-Thoughtアプローチは予測精度を向上しなかったが、投票プロセスにおけるAI説明可能性の可能性がある。
また,LLMにおける好みの多様性とアライメント精度のトレードオフを,異なる温度設定の影響で確認した。
以上の結果から, LLM は, 投票シナリオにおいて, 多様な集団的結果や偏見が得られず, 民主的プロセスへの慎重な統合の必要性が強調された。
関連論文リスト
- GermanPartiesQA: Benchmarking Commercial Large Language Models for Political Bias and Sycophancy [20.06753067241866]
我々は,OpenAI, Anthropic, Cohereの6つのLDMのアライメントをドイツ政党の立場と比較した。
我々は、主要なドイツの国会議員のベンチマークデータと社会デマグラフィーデータを用いて、迅速な実験を行う。
論文 参考訳(メタデータ) (2024-07-25T13:04:25Z) - Vox Populi, Vox AI? Using Language Models to Estimate German Public Opinion [45.84205238554709]
我々は,2017年ドイツ縦断選挙研究の回答者の個人特性と一致するペルソナの合成サンプルを生成した。
我々は,LSM GPT-3.5に対して,各回答者の投票選択を予測し,これらの予測を調査に基づく推定と比較する。
GPT-3.5は市民の投票選択を正確に予測せず、緑の党と左派に偏見を呈している。
論文 参考訳(メタデータ) (2024-07-11T14:52:18Z) - AI AI Bias: Large Language Models Favor Their Own Generated Content [0.1979158763744267]
大規模言語モデル (LLM) が人間によって書かれたテキストに対して LLM によって生成されたテキストに偏りがあるかどうかを検証する。
以上の結果から,LLMベースのAIがLLM生成コンテンツを好む傾向が一貫したことが明らかとなった。
これは、AIシステムが暗黙的に人間を差別し、AIエージェントに不公平な優位性を与える可能性を示唆している。
論文 参考訳(メタデータ) (2024-07-09T13:15:14Z) - Generative AI Voting: Fair Collective Choice is Resilient to LLM Biases and Inconsistencies [21.444936180683147]
異なるLLMには、複雑な優先投票形式におけるバイアスと重大な矛盾があることが示される。
興味深いことに、平等な株式のような公正投票の集計手法は、より公平なAI表現を持つ人間に対するより公平な投票結果として、勝利を証明している。
論文 参考訳(メタデータ) (2024-05-31T01:41:48Z) - Assessing Political Bias in Large Language Models [0.624709220163167]
我々は、ドイツの有権者の視点から、欧州連合(EU)内の政治問題に関するオープンソースのLarge Language Models(LLMs)の政治的バイアスを評価する。
Llama3-70Bのような大型モデルは、左派政党とより緊密に連携する傾向にあるが、小さなモデルは中立であることが多い。
論文 参考訳(メタデータ) (2024-05-17T15:30:18Z) - Character is Destiny: Can Large Language Models Simulate Persona-Driven Decisions in Role-Playing? [59.0123596591807]
ペルソナ駆動意思決定における大規模言語モデルの能力のベンチマークを行う。
高品質な小説において, LLM が先行する物語の登場人物の判断を予測できるかどうかを考察する。
その結果、現状のLLMは、このタスクに有望な能力を示すが、改善の余地は十分にあることが示された。
論文 参考訳(メタデータ) (2024-04-18T12:40:59Z) - Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。
強制されない場合、モデルが実質的に異なる答えを与えることを示す。
我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
論文 参考訳(メタデータ) (2024-02-26T18:00:49Z) - Dissecting Human and LLM Preferences [80.55271307662365]
人間は誤りに敏感ではなく、自分の姿勢を支持する反応を好んでおり、モデルが限界を認めている場合、明確な嫌悪を示します。
GPT-4-Turboのような先進的なLCMは、より正確さ、明快さ、無害さを強調している。
嗜好に基づく評価は意図的に操作可能であることを示す。
論文 参考訳(メタデータ) (2024-02-17T14:34:31Z) - Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文 参考訳(メタデータ) (2024-02-16T18:28:43Z) - Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。
本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。
観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
論文 参考訳(メタデータ) (2023-11-15T00:02:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。