論文の概要: Can Model Answer Probabilities Represent Survey Populations? Conditional Prediction and Joint Validity in Jev Survey Simulation
- arxiv url: http://arxiv.org/abs/2611.15576v1
- Date: Wed, 11 Nov 2026 14:59:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.175271
- Title: Can Model Answer Probabilities Represent Survey Populations? Conditional Prediction and Joint Validity in Jev Survey Simulation
- Title(参考訳): モデル回答確率は調査人口を表わすことができるか? -Jevサーベイシミュレーションにおける条件予測と共同妥当性-
- Abstract要約: 我々は,5つのアーカイブされたサーベイウェーブから20個のバイナリ項目へのリンク応答を用いて,TypeSafe決定モデルであるJevによって返されるオプション確率を評価する。
我々は、人口のみの予測、得られた回答の予測、生成した回答を用いて後の回答を予測するシーケンシャル・コンプリートを比較した。
- 参考スコア(独自算出の注目度): 2.658641595601261
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Survey simulations require realistic combinations of answers, but predictive accuracy alone does not establish that a model can generate them. We evaluate the option probabilities returned by Jev, a TypeSafe decision model, using linked responses to 20 binary items from five archived survey waves. We compare population-only prediction, prediction given recorded answers, and sequential completion that uses generated answers to predict later responses. Joint comparisons hold the starting population information fixed, and two three-question cases are completed in both question orders. We evaluate predictive scores, answer frequencies, and associations against the survey records. Recorded answers can improve predictive scores while associations remain distorted. Large conditional errors also occur. For example, among men who described themselves as having traditional values, the model predicted that 16% would see men and women as similar in workplace abilities, compared with 56% in the survey. Sequential completion has mixed effects on joint validity, and reversing question order produces different joint distributions in both tested cases. Order checks and classical marginal bounds clarify what can be assessed before linked validation answers are available. The findings support validating the joint events a simulation uses and separating empirical constraints from model assumptions. The evidence concerns selected binary tasks and one model version.
- Abstract(参考訳): サーベイシミュレーションは現実的な解の組合せを必要とするが、予測精度だけではモデルがそれらを生成できるという確証は得られない。
我々は,5つのアーカイブされたサーベイウェーブから20個のバイナリ項目へのリンク応答を用いて,TypeSafe決定モデルであるJevによって返されるオプション確率を評価する。
我々は、人口のみの予測、得られた回答の予測、生成した回答を用いて後の回答を予測するシーケンシャル・コンプリートを比較した。
共同比較では、開始する人口情報を固定し、2件の3件の事例を両質問の順序で完了させる。
我々は,調査記録に対する予測スコア,回答頻度,関連性を評価した。
記録された回答は予測スコアを改善することができるが、関連性は歪んでいる。
条件付きエラーも大きい。
例えば、従来の価値観を持つと自称する男性のうち、16%は男女が職場の能力に類似していると予測し、調査では56%だった。
逐次完了は関節の妥当性に混在し、逆転質問順は両試験例で異なる関節分布を生じる。
順序チェックと古典的な限界境界は、リンクされた検証回答が利用可能になる前に何を評価することができるかを明らかにする。
この結果は,シミュレーションが使用する共同イベントの検証を支援し,モデル仮定から経験的制約を分離する。
証拠は、選択されたバイナリタスクと1つのモデルバージョンに関するものだ。
関連論文リスト
- The Social World Model Evaluation Gap [0.7376636976924001]
システムまたは実験者によって選択された行動に対する実際の人の反応を測定する。
明示的なレスポンス予測とそのレスポンスを比較するのも2つだけです。
25の言語モデルの別のフルテキストチェックでは、これらの条件を満たす実験は見つからない。
論文 参考訳(メタデータ) (2026-10-08T04:18:33Z) - Better Behavioral Prediction, More Faithful Model Ablations? Evidence from Sequential Choice [0.2538209532048867]
認知を説明するために予測モデルを使用するには、正確な行動予測以上のものが必要である。
入力アブレーションは、モデルから情報を取り除き、結果のパフォーマンス変化を行動の重要性の証拠として解釈する、魅力的なルートを提供する。
我々は、既知の生成ポリシーを持つ2つの合成逐次バンディットタスクでテストする。
論文 参考訳(メタデータ) (2026-09-28T18:38:49Z) - Shared Autoregressive Context Can Distort Relationships in Synthetic Data [0.0]
大規模言語モデルでは、1つの自己回帰補完内で複数のレコードを生成することができる。
本稿では, 合成データ中の変数間の関係を歪曲することができることを示す。
論文 参考訳(メタデータ) (2026-09-26T12:25:58Z) - When Surveys Become Conversations: Adaptive Matrix Validation for AI-Assisted Interviews [1.3875545441867139]
本稿では,AIを用いたインタビューを各応答者が完了する適応行列検証(AMV)を提案する。
推定器はまず、他の回答者の検証回答を使ってマッピングされた値を校正し、残りのエラーを修正する。
設計校正シミュレーション,アメリカン・タイム・ユース・サーベイ・エミュレーション,およびCHAMPS言語・オートプシー・ナラティブスタディは,スパース・バリデーションが精度を向上できることを示す。
論文 参考訳(メタデータ) (2026-06-23T07:30:39Z) - Pre-validation Revisited [79.92204034170092]
シミュレーションと応用による予測,推測,誤差推定における事前検証の特性と利点を示す。
そこで本研究では, あるモデル下での事前検証予測のためのテスト統計量の解析的分布だけでなく, 推論を行うための一般的なブートストラップ手順も提案する。
論文 参考訳(メタデータ) (2025-05-21T00:20:14Z) - Mitigating LLM Hallucinations via Conformal Abstention [70.83870602967625]
我々は,大言語モデルが一般ドメインでの応答をいつ無視すべきかを決定するための,原則化された手順を開発する。
我々は、幻覚率(エラー率)の厳密な理論的保証の恩恵を受けるため、共形予測手法を活用して、禁忌手順を開発する。
実験によって得られた共形禁忌法は, 種々の閉書, オープンドメイン生成質問応答データセットに, 幻覚率を確実に拘束する。
論文 参考訳(メタデータ) (2024-04-04T11:32:03Z) - Realistic Conversational Question Answering with Answer Selection based
on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。
本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。
我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
論文 参考訳(メタデータ) (2023-02-10T09:42:07Z) - Plinko: A Theory-Free Behavioral Measure of Priors for Statistical
Learning and Mental Model Updating [62.997667081978825]
Plinko(リンク)は,参加者が利用可能なすべての結果に対してボール滴の分布を推定する行動課題である。
対象者は,確率分布の確率分布を中心にクラスタリングし,事前クラスタメンバシップは学習能力を示す可能性があることを示す。
我々は,個々の参加者が信頼できる表現であり,物理的に不可解な球滴分布に直面した場合,学習が阻害されないことを検証した。
論文 参考訳(メタデータ) (2021-07-23T22:27:30Z) - Selective Question Answering under Domain Shift [90.021577320085]
モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。
キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。
提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
論文 参考訳(メタデータ) (2020-06-16T19:13:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。