論文の概要: Large Language Models Can Be a Viable Substitute for Expert Political Surveys When a Shock Disrupts Traditional Measurement Approaches

• arxiv url: http://arxiv.org/abs/2506.06540v1
• Date: Fri, 06 Jun 2025 21:14:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.314543
• Title: Large Language Models Can Be a Viable Substitute for Expert Political Surveys When a Shock Disrupts Traditional Measurement Approaches
• Title（参考訳）: 大型の言語モデルは、従来の計測手法を壊すと、専門家による政治調査の代替になる
• Authors: Patrick Y. Wu,
• Abstract要約: このポジションペーパーでは、大量のデジタルメディアデータに基づいて訓練された大規模言語モデル(LLM)が、ショックが従来の測定を妨害する場合に、専門家による政治調査の代用として有効であると論じている。 我々は、LLMとのペアワイズ比較プロンプトを使用し、連邦政府機関のイデオロギースコアを導出する。 また、同様のアプローチを用いて、イデオロギーの規制下であっても、知識機関としての連邦機関の認識がどの機関がDOGEを標的としているかを予測する。
• 参考スコア（独自算出の注目度）: 1.3597551064547502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: After a disruptive event or shock, such as the Department of Government Efficiency (DOGE) federal layoffs of 2025, expert judgments are colored by knowledge of the outcome. This can make it difficult or impossible to reconstruct the pre-event perceptions needed to study the factors associated with the event. This position paper argues that large language models (LLMs), trained on vast amounts of digital media data, can be a viable substitute for expert political surveys when a shock disrupts traditional measurement. We analyze the DOGE layoffs as a specific case study for this position. We use pairwise comparison prompts with LLMs and derive ideology scores for federal executive agencies. These scores replicate pre-layoff expert measures and predict which agencies were targeted by DOGE. We also use this same approach and find that the perceptions of certain federal agencies as knowledge institutions predict which agencies were targeted by DOGE, even when controlling for ideology. This case study demonstrates that using LLMs allows us to rapidly and easily test the associated factors hypothesized behind the shock. More broadly, our case study of this recent event exemplifies how LLMs offer insights into the correlational factors of the shock when traditional measurement techniques fail. We conclude by proposing a two-part criterion for when researchers can turn to LLMs as a substitute for expert political surveys.
• Abstract（参考訳）: 2025年の政府効率省(DOGE)連邦レイオフのような破壊的な出来事やショックの後、専門家の判断は結果の知識によって着色される。 これにより、イベントに関連する要因を研究するのに必要な事前認識の再構築が困難または不可能になる可能性がある。 このポジションペーパーでは、大量のデジタルメディアデータに基づいて訓練された大規模言語モデル(LLM)が、ショックが従来の測定を妨害する場合に、専門家による政治調査の代用として有効であると論じている。 本研究は,DOGEレイオフを特定のケーススタディとして分析する。 我々は、LLMとのペアワイズ比較プロンプトを使用し、連邦政府機関のイデオロギースコアを導出する。 これらのスコアは、レイオフ前の専門家対策を再現し、どの機関がDOGEを標的にしているかを予測する。 また、同様のアプローチを用いて、イデオロギーの規制下であっても、知識機関としての連邦機関の認識がどの機関がDOGEを標的としているかを予測する。 このケーススタディは、LLMを使用することで、ショックの裏で仮説化された関連する要因を迅速かつ容易にテストできることを示した。 より広範に、今回のケーススタディは、従来の計測技術が失敗したときの衝撃の相関要因について、LCMがどのように洞察を与えるかを実証している。 我々は、専門家による政治調査の代替として、研究者がLLMに転換できるという2つの基準を提案して結論付けた。

関連論文リスト

• Examining Alignment of Large Language Models through Representative Heuristics: The Case of Political Stereotypes [20.407518082067437]
  本研究では,大規模言語モデル(LLM)と人的価値との整合性を検討した。 政治問題に関する実証的な立場からLLMの逸脱に寄与する要因を分析した。 LLMは特定の政党の立場を模倣できるが、人間の調査回答者よりもこれらの立場を誇張することが多い。
  論文  参考訳（メタデータ） (2025-01-24T07:24:23Z)
• Do Large Language Models Exhibit Cognitive Dissonance? Studying the Difference Between Revealed Beliefs and Stated Answers [13.644277507363036]
  我々は,これらの能力が調整プロンプトとMCQの外部で測定可能かどうかを検討する。 以上の結果から, LLMの回答は, Stated Answer と大きく異なることが示唆された。 テキスト補完はLLMの中核にあるため,これらの結果は共通評価手法が部分画像のみを提供する可能性があることを示唆している。
  論文  参考訳（メタデータ） (2024-06-21T08:56:35Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Assessing Look-Ahead Bias in Stock Return Predictions Generated By GPT Sentiment Analysis [0.0]
  大規模言語モデル(LLM)は、ニューステキストの感情から利益の出るトレーディング信号を抽出することができる。 このバイアスは、LLMがニュース記事に続く株価のリターンについて特定の知識を持つことができるルック・ア・ヘッドバイアスと、社名を冠した企業の一般的な知識がテキストの感情の測定に干渉する気晴らし効果の2つの形態をとることができる。 金融ニュースの見出しの感情が引き起こすトレーディング戦略を通じて、これらのバイアス源を調査します。
  論文  参考訳（メタデータ） (2023-09-29T15:30:32Z)
• Perspectives on Large Language Models for Relevance Judgment [56.935731584323996]
  大型言語モデル(LLM)は、関連判断を支援することができると主張している。 自動判定が検索システムの評価に確実に利用できるかどうかは不明である。
  論文  参考訳（メタデータ） (2023-04-13T13:08:38Z)
• Causally Testing Gender Bias in LLMs: A Case Study on Occupational Bias [33.99768156365231]
  生成言語モデルにおけるバイアス測定のための因果的定式化を導入する。 我々はOccuGenderというベンチマークを提案し、職業性バイアスを調査するためのバイアス測定手法を提案する。 以上の結果から,これらのモデルでは職業性バイアスがかなり大きいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T22:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。