論文の概要: Large Language Models Are Democracy Coders with Attitudes

• arxiv url: http://arxiv.org/abs/2503.22315v1
• Date: Fri, 28 Mar 2025 10:43:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:32:01.732964
• Title: Large Language Models Are Democracy Coders with Attitudes
• Title（参考訳）: 大規模言語モデルは態度のある民主主義のプログラマである
• Authors: Nils B. Weidmann, Mats Faulborn, David García,
• Abstract要約: V-Demプロジェクトの民主主義指標のコーディングには,最先端の2つのLarge Language Modelを使用します。 膨大な量の情報にアクセスすることで、これらのモデルは、人間が持つ可能性のある認知バイアスなしに、レジームの多くの「ソフト」特性を評価することができるかもしれない。 これらのモデルが人間の評価から逸脱した場合、それらは異なるが一貫した方法で実施されることを示す。
• 参考スコア（独自算出の注目度）: 0.07448098004925983
• License:
• Abstract: Current political developments worldwide illustrate that research on democratic backsliding is as important as ever. A recent exchange in Political Science & Politics (2/2024) has highlighted again a fundamental challenge in this literature: the measurement of democracy. With many democracy indicators consisting of subjective assessments rather than factual observations, trends in democracy over time could be due to human biases in the coding of these indicators rather than empirical facts. In this paper, we leverage two cutting-edge Large Language Models (LLMs) for the coding of democracy indicators from the V-Dem project. With access to a huge amount of information, these models may be able to rate the many "soft" characteristics of regimes without the cognitive biases that humans potentially possess. While LLM-generated codings largely align with expert coders for many countries, we show that when these models deviate from human assessments, they do so in different but consistent ways: Some LLMs are too pessimistic, while others consistently overestimate the democratic quality of these countries. While the combination of the two LLM codings can alleviate this concern, we conclude that it is difficult to replace human coders with LLMs, since the extent and direction of these attitudes is not known a priori.
• Abstract（参考訳）: 現在の世界の政治発展は、民主的バックスライディングの研究が、かつてないほど重要であることを示している。 政治学と政治学の最近の交流(2/2024)は、この文学における根本的な課題である民主主義の測定を再び強調している。 多くの民主主義指標が事実の観察よりも主観的な評価から成り立っているので、時間の経過に伴う民主主義の傾向は、経験的な事実ではなく、これらの指標のコーディングにおける人間の偏見による可能性がある。 本稿では,V-Demプロジェクトにおける民主主義指標の符号化に,最先端の2つのLarge Language Model(LLM)を利用する。 膨大な量の情報にアクセスすることで、これらのモデルは、人間が持つ可能性のある認知バイアスなしに、レジームの多くの「ソフト」特性を評価することができるかもしれない。 LLMが生成するコーディングは、多くの国のエキスパートコーダとほぼ一致しているが、これらのモデルが人間の評価から逸脱した場合、それらは異なるが一貫した方法で行われる。 2つのLLM符号化の組み合わせは、この懸念を軽減することができるが、これらの姿勢の広さと方向が事前に分かっていないため、人間のプログラマをLLMに置き換えることは困難である、と結論付けている。

関連論文リスト

• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Can LLMs advance democratic values? [0.0]
  LLMは、形式的な民主的意思決定プロセスから明確に守るべきである、と我々は主張する。 非公式な公共の場を強化するのに役立てることができる。
  論文  参考訳（メタデータ） (2024-10-10T23:24:06Z)
• GermanPartiesQA: Benchmarking Commercial Large Language Models for Political Bias and Sycophancy [20.06753067241866]
  我々は,OpenAI, Anthropic, Cohereの6つのLDMのアライメントをドイツ政党の立場と比較した。 我々は、主要なドイツの国会議員のベンチマークデータと社会デマグラフィーデータを用いて、迅速な実験を行う。
  論文  参考訳（メタデータ） (2024-07-25T13:04:25Z)
• Representation Bias in Political Sample Simulations with Large Language Models [54.48283690603358]
  本研究は,大規模言語モデルを用いた政治サンプルのシミュレーションにおけるバイアスの同定と定量化を目的とする。 GPT-3.5-Turboモデルを用いて、米国選挙研究、ドイツ縦割り選挙研究、ズオビアオデータセット、中国家族パネル研究のデータを活用する。
  論文  参考訳（メタデータ） (2024-07-16T05:52:26Z)
• Language Model Alignment in Multilingual Trolley Problems [138.5684081822807]
  Moral Machine 実験に基づいて,MultiTP と呼ばれる100以上の言語でモラルジレンマヴィグネットの言語間コーパスを開発する。 分析では、19の異なるLLMと人間の判断を一致させ、6つのモラル次元をまたいだ嗜好を捉えた。 我々は、AIシステムにおける一様道徳的推論の仮定に挑戦し、言語間のアライメントの顕著なばらつきを発見した。
  論文  参考訳（メタデータ） (2024-07-02T14:02:53Z)
• Large Language Models' Detection of Political Orientation in Newspapers [0.0]
  新聞の立場をよりよく理解するための様々な方法が開発されている。 LLM(Large Language Models)の出現は、研究者や市民を補助する破壊的な可能性を秘めている。 我々は,広く採用されている4つのLCMが新聞の位置づけを評価する方法を比較し,その回答が相互に一致しているかどうかを比較する。 膨大なデータセットを通じて、新聞の記事は単一のLCMによって著しく異なる位置に配置され、アルゴリズムの一貫性のないトレーニングや過度なランダム性を示唆している。
  論文  参考訳（メタデータ） (2024-05-23T06:18:03Z)
• Assessing Political Bias in Large Language Models [0.624709220163167]
  我々は、ドイツの有権者の視点から、欧州連合(EU)内の政治問題に関するオープンソースのLarge Language Models(LLMs)の政治的バイアスを評価する。 Llama3-70Bのような大型モデルは、左派政党とより緊密に連携する傾向にあるが、小さなモデルは中立であることが多い。
  論文  参考訳（メタデータ） (2024-05-17T15:30:18Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。