論文の概要: Validity Without Ground Truth: What Stated-Preference Economics Offers the Evaluation of Language Models

• arxiv url: http://arxiv.org/abs/2610.10506v1
• Date: Wed, 07 Oct 2026 17:51:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.094098
• Title: Validity Without Ground Truth: What Stated-Preference Economics Offers the Evaluation of Language Models
• Title（参考訳）: 根拠のない妥当性:言語モデルの評価を提供するステート・プレリファレンス・エコノミクス
• Abstract要約: ステートド・リファレンス・エコノミクスは、妥当性と関連する概念の枠組みを通じて、真の価値を知らずに調査回答を判断する。 本研究では,6つのモデルで実施した選好経済評価調査を公表した水質指標を用いて,そのアプローチを実証する。 2つの古いモデルは、世帯所得レベル75,000で最も基本的なテストに失敗し、2つの最新のモデルは、私たちが得点できる理論的妥当性のテストに合格する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many of the questions now put to large language models have no correct answer to score against: what a policy is worth, which option a user should choose, how to weigh competing values. Stated-preference economics has faced this problem for decades. It judges survey responses without knowing the true value, through a framework of validity and related concepts: content, construct, and criterion validity, reliability, incentive compatibility, and consequentiality. We argue that this framework is a general method for evaluating language models, and we set out what each concept means for LLM evaluation. We demonstrate the approach using a published water-quality stated preference economic valuation survey (Vossler et al. 2023) administered to six models. In this economic application, the validity tests take the form of predictions from economic theory: demand should slope down, and willingness to pay should respond to the scope of the good and to income. The tests separate the models sharply. Two older models fail the most basic test at a household income level of \$75,000, and the two newest pass every test of theoretical validity we can score, but diverge on convergent validity. Passing validity tests shows that a model's answers are coherent, not that they are correct.
• Abstract（参考訳）: 現在、大きな言語モデルに当てはまる質問の多くは、どのポリシーに価値があるか、どのオプションを選ぶべきか、競合する価値をどう評価するか、という、スコアに対する正しい答えを持っていません。 ステート・レファレンス・エコノミクスは数十年にわたってこの問題に直面してきた。 コンテンツ、構成、基準の妥当性、信頼性、インセンティブの適合性、そして連続性といった、妥当性と関連する概念の枠組みを通じて、真の価値を知らずに調査回答を判断する。 このフレームワークは言語モデル評価の一般的な手法であり,LLM評価における各概念の意味を定めている。 提案手法は,6つのモデルで実施した選好経済評価調査(Vossler et al 2023)を用いて実証した。 この経済応用において、妥当性試験は、経済理論からの予測の形式を採り入れ、需要は下降し、支払意欲は、利益と収入の範囲に反応するべきである。 テストはモデルを著しく分離します。 2つの古いモデルは75,000ドルという家計収入レベルで最も基本的なテストに失敗し、最も新しい2つのモデルは、評価できる理論的妥当性の試験に合格する。 妥当性テストに合格すると、モデルの回答が正当であることではなく、一貫性があることが示される。

関連論文リスト

• Do LLMs Have Values? A Quantitative Analysis and Alignment Framework for Values in Large Language Models [49.45276299939287]
  大規模言語モデル(LLM)は、ますます複雑な主観的タスクを扱うようになっている。 LLMは、マイナーな単語変更で予測不能に変動する。 この双対性を解決することは 信頼できるAIアライメントに 不可欠です
  論文  参考訳（メタデータ） (2026-09-15T03:35:04Z)
• Are We Evaluating Knowledge or Phrasing? Mitigating MCQA Sensitivity with ParaEval [19.15330408774882]
  MCQA(Multiple-choice)ベンチマークは、事前訓練された大規模言語モデルを評価するための標準である。 回答毎に複数のパラフレーズを用いてモデルをクエリする評価フレームワークであるParaEvalを提案する。
  論文  参考訳（メタデータ） (2026-06-09T10:05:20Z)
• SAVOIR: Learning Social Savoir-Faire via Shapley-based Reward Attribution [82.31558282651811]
  複雑な対人相互作用をナビゲートするソーシャルインテリジェンスは、言語エージェントに根本的な課題を提示する。 既存のアプローチでは、言語モデルを直接使用してエピソードレベルの報酬を分配する。 協調ゲーム理論に基づく新しい原理的枠組みであるSAVOIRを提案する。
  論文  参考訳（メタデータ） (2026-04-21T02:08:25Z)
• Winner's Curse Drives False Promises in Data-Driven Decisions: A Case Study in Refugee Matching [26.01488014918074]
  一般的な戦略はモデルに基づく政策評価であり、データからモデルを推定し、反現実的な結果を予測する。 この戦略は、勝者の呪いによる真の利益を、不当に楽観的に見積もることで知られている。 両者の組み合わせは、勝者の呪いを逃れるものではない。
  論文  参考訳（メタデータ） (2026-02-09T16:54:05Z)
• Pretraining on the Test Set Is No Longer All You Need: A Debate-Driven Approach to QA Benchmarks [2.3188831772813105]
  本稿では、既存のQAデータセットを構造化された敵対的議論に変換する議論駆動評価パラダイムを提案する。 我々は,(1)QAタスクを議論に基づく評価に体系的に変換する評価パイプライン,(2)MMLU-Pro質問のサブセットにおけるパラダイムの有効性を示す公開ベンチマークの2つの主要な貢献を行う。
  論文  参考訳（メタデータ） (2025-07-23T17:58:14Z)
• What the HellaSwag? On the Validity of Common-Sense Reasoning Benchmarks [8.012203293561196]
  HellaSwagは,評価に最も広く用いられているベンチマークの一つである。 このベンチマークは, 常識的推論を正確に測定するものではないため, 現状の評価には使用すべきではない。
  論文  参考訳（メタデータ） (2025-04-10T15:01:46Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)
• Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
  対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。 本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。 我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
  論文  参考訳（メタデータ） (2023-02-10T09:42:07Z)
• Exploring validation metrics for offline model-based optimisation with diffusion models [50.404829846182764]
  モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。 モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。 本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
  論文  参考訳（メタデータ） (2022-11-19T16:57:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。