論文の概要: Should you use LLMs to simulate opinions? Quality checks for early-stage deliberation

• arxiv url: http://arxiv.org/abs/2504.08954v1
• Date: Fri, 11 Apr 2025 20:16:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:53:17.991159
• Title: Should you use LLMs to simulate opinions? Quality checks for early-stage deliberation
• Title（参考訳）: LLMを使って意見をシミュレートするべきか? 早期検討のための品質チェック
• Authors: Terrence Neumann, Maria De-Arteaga, Sina Fazelpour,
• Abstract要約: 本研究では,人間の意見のシミュレートに大規模言語モデルを用いることの可否について,早期の議論を支援するための一連の品質チェックを紹介する。 本稿では,AIによるコンテンツモデレーションの文脈における品質制御テストの有用性を示す。 これらの障害モードがもたらす影響について議論し、提案したテストを迅速にエンジニアリングに活用する方法を推奨することで、私たちは結論付けています。
• 参考スコア（独自算出の注目度）: 5.4260854377259315
• License:
• Abstract: The array of emergent capabilities of large language models (LLMs) has sparked interest in assessing their ability to simulate human opinions in a variety of contexts, potentially serving as surrogates for human subjects in opinion surveys. However, previous evaluations of this capability have depended heavily on costly, domain-specific human survey data, and mixed empirical results about LLM effectiveness create uncertainty for managers about whether investing in this technology is justified in early-stage research. To address these challenges, we introduce a series of quality checks to support early-stage deliberation about the viability of using LLMs for simulating human opinions. These checks emphasize logical constraints, model stability, and alignment with stakeholder expectations of model outputs, thereby reducing dependence on human-generated data in the initial stages of evaluation. We demonstrate the usefulness of the proposed quality control tests in the context of AI-assisted content moderation, an application that both advocates and critics of LLMs' capabilities to simulate human opinion see as a desirable potential use case. None of the tested models passed all quality control checks, revealing several failure modes. We conclude by discussing implications of these failure modes and recommend how organizations can utilize our proposed tests for prompt engineering and in their risk management practices when considering the use of LLMs for opinion simulation. We make our crowdsourced dataset of claims with human and LLM annotations publicly available for future research.
• Abstract（参考訳）: 大規模言語モデル(LLM)の創発的能力の配列は、さまざまな文脈において人間の意見をシミュレートする能力を評価することに興味を喚起し、世論調査において人間のサロゲートとして機能する可能性がある。 しかし、従来の評価は、費用がかかるドメイン固有の人間調査データに大きく依存しており、LLMの有効性に関する実験結果が混ざり合わさって、この技術への投資が初期段階の研究で正当化されているかどうかを管理者に不確実性をもたらしている。 これらの課題に対処するため、我々は、人間の意見をシミュレートするためにLLMを使用することの可能性を早期に検討するための一連の品質チェックを紹介した。 これらのチェックは、論理的制約、モデル安定性、およびモデル出力のステークホルダー期待との整合性を強調し、評価の初期段階における人為的データへの依存を減らす。 提案した品質管理テストの有用性を,AIによるコンテンツモデレーションの文脈で実証する。 テストされたモデルはすべて品質管理チェックをパスせず、いくつかの障害モードが明らかになった。 我々は、これらの障害モードがもたらす影響について議論し、LLMを意見シミュレーションに用いた場合、我々の提案したテストを使って、迅速なエンジニアリングやリスク管理の実践をいかに活用できるかを推奨する。 我々は、今後の研究のために、人間とLLMアノテーションによるクラウドソースによるクレームのデータセットを公開しています。

関連論文リスト

• Leveraging Online Olympiad-Level Math Problems for LLMs Training and Contamination-Resistant Evaluation [55.21013307734612]
  AoPS-Instructは60,000以上の高品質QAペアのデータセットである。 LiveAoPSBenchは、最新のフォーラムデータから派生したタイムスタンプによる進化的評価セットである。 我々の研究は、高度な数学推論のための大規模で高品質なデータセットの作成と維持にスケーラブルなアプローチを提示している。
  論文  参考訳（メタデータ） (2025-01-24T06:39:38Z)
• Potential and Perils of Large Language Models as Judges of Unstructured Textual Data [0.631976908971572]
  本研究では,LLM-as-judgeモデルの有効性を検討した。 LLM-as-judgeは、人間に匹敵するスケーラブルなソリューションを提供するが、人間は微妙で文脈固有のニュアンスを検出するのに優れている。
  論文  参考訳（メタデータ） (2025-01-14T14:49:14Z)
• LLM-based relevance assessment still can't replace human relevance assessment [12.829823535454505]
  近年の研究では、情報検索における関連性評価のための大規模言語モデル(LLM)が、人間の判断に匹敵する評価をもたらすことが示唆されている。 Upadhyayらは、LLMに基づく関連性評価は、TRECスタイルの評価における従来の人間関連性評価を完全に置き換えることができると主張している。 本稿ではこの主張を批判的に検証し、この結論の妥当性を損なう実践的・理論的制約を強調した。
  論文  参考訳（メタデータ） (2024-12-22T20:45:15Z)
• LLMs instead of Human Judges? A Large Scale Empirical Study across 20 NLP Evaluation Tasks [106.09361690937618]
  人間の判断の代わりにLPMを用いてNLPモデルを評価する傾向が高まっている。 JUDGE-BENCHは20個のNLPデータセットのコレクションで、人間のアノテーションで、幅広い評価された特性やデータの種類をカバーしています。 アノテーションを複製できるため、オープンウェイトモデルとプロプライエタリモデルの両方をカバーする11の現在のLCMを評価します。
  論文  参考訳（メタデータ） (2024-06-26T14:56:13Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。 本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。 さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。 これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• Explaining Large Language Models Decisions Using Shapley Values [1.223779595809275]
  大規模言語モデル(LLM)は、人間の行動や認知過程をシミュレートするエキサイティングな可能性を開いた。 しかし, LLMを人体用スタンドインとして活用する妥当性は, いまだに不明である。 本稿では,モデルの出力に対する各プロンプト成分の相対的寄与を定量化するために,シェープリー値に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T22:49:43Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks [65.69651759036535]
  大規模言語モデル(LLM)が人間にとって信頼できる代替手段であるかどうかを解析する。 本稿では、従来のタスク(例えば、ストーリー生成)とアライメントタスク(例えば、数学推論)の両方について検討する。 LLM評価器は不要な基準を生成したり、重要な基準を省略することができる。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)
• Understanding Social Reasoning in Language Models with Language Models [34.068368860882586]
  本稿では,因果テンプレートを投入することにより,Large Language Models (LLM) による評価を生成する新しいフレームワークを提案する。 LLMのための新しいソーシャル推論ベンチマーク(BigToM)を作成し、25のコントロールと5000のモデル記述評価からなる。 ヒトの被験者は、これまでのクラウドソースによる評価よりもベンチマークの質を高く評価し、専門家による評価に匹敵することがわかった。
  論文  参考訳（メタデータ） (2023-06-21T16:42:15Z)
• Can Large Language Models Be an Alternative to Human Evaluations? [80.81532239566992]
  大規模言語モデル(LLM)は、タスク命令のみを提供する場合、目に見えないタスクに対して例外的な性能を示す。 LLM評価の結果は、専門家による評価の結果と一致していることを示す。
  論文  参考訳（メタデータ） (2023-05-03T07:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。