論文の概要: The Social World Model Evaluation Gap
- arxiv url: http://arxiv.org/abs/2610.33014v1
- Date: Thu, 08 Oct 2026 04:18:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 06:06:26.133531
- Title: The Social World Model Evaluation Gap
- Title(参考訳): 社会世界モデル評価ギャップ
- Abstract要約: システムまたは実験者によって選択された行動に対する実際の人の反応を測定する。
明示的なレスポンス予測とそのレスポンスを比較するのも2つだけです。
25の言語モデルの別のフルテキストチェックでは、これらの条件を満たす実験は見つからない。
- 参考スコア(独自算出の注目度): 0.7376636976924001
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A negotiation assistant can reach a good deal without accurately predicting the other person's response. We ask whether evaluations of social world models test that prediction directly. We audit 113 works published from 1999 to 2026. 9 primary evaluations measure a real person's response to an action selected by the system or experimenter. Only 2 also compare an explicit response forecast with that response. Their predictors use information available when the action is chosen, and the evaluated responses were excluded from fitting; both randomize the intervention. A separate full-text check of 25 language-model works finds no experiment meeting these conditions. The other evaluations test current-state inference, task success, or prediction from recorded actions. We propose a 1-step negotiation experiment that separates these questions. The findings describe the audited sample, not the prevalence of this evaluation gap across the field.
- Abstract(参考訳): 交渉アシスタントは、相手の反応を正確に予測することなく、良い取引に達することができる。
社会的世界モデルの評価が直接その予測をテストするかどうかを問う。
1999年から2026年までの113の作品を監査します。
システムまたは実験者によって選択された行動に対する実際の人の反応を測定する。
明示的なレスポンス予測とそのレスポンスを比較するのも2つだけです。
彼らの予測者は、アクションが選択されたときに利用可能な情報を使用し、評価された応答は適合から除外され、どちらも介入をランダム化する。
25の言語モデルの別のフルテキストチェックでは、これらの条件を満たす実験は見つからない。
他の評価は、現在状態の推測、タスクの成功、記録されたアクションからの予測をテストする。
本稿では,これらの疑問を分離する1段階の交渉実験を提案する。
この結果から, 被検試料は, 現場間におけるこの評価ギャップの有病率ではなく, 対象試料を記載した。
関連論文リスト
- Where Do Test-Time Scaling and Training Fall Short in Individual Stance Prediction? [20.4347717201292]
我々は,教師付き微調整や強化学習など,広く利用されているテストタイムスケーリング戦略とポストトレーニング手法を評価した。
生成、選択、学習の4つの障害モードを特定します。
我々は、すべての候補者の姿勢に対する直接的なスコアと、個人の歴史からの支持を明確に評価する単純なアプローチを探求する。
論文 参考訳(メタデータ) (2026-09-27T03:27:05Z) - Beyond Visual Quality: A Study of Test-Time Planning with World Action Models [33.830678725640944]
世界行動モデルは、その結果の視覚的予測と共に行動を生成する。
未来の想像でアクションの選択をガイドする方法はまだ不明だ。
標本化行動が異なる結果をもたらすか,これらの違いが予測に現れるか,スコアが認識するかどうかを検討する。
論文 参考訳(メタデータ) (2026-09-21T15:15:38Z) - Winner's Curse Drives False Promises in Data-Driven Decisions: A Case Study in Refugee Matching [26.01488014918074]
一般的な戦略はモデルに基づく政策評価であり、データからモデルを推定し、反現実的な結果を予測する。
この戦略は、勝者の呪いによる真の利益を、不当に楽観的に見積もることで知られている。
両者の組み合わせは、勝者の呪いを逃れるものではない。
論文 参考訳(メタデータ) (2026-02-09T16:54:05Z) - Performative Prediction on Games and Mechanism Design [69.7933059664256]
エージェントが過去の正確性に基づいて予測を信頼するかを判断する集団リスクジレンマについて検討する。
予測が集合的な結果を形成するにつれて、社会福祉は関心の指標として自然に現れる。
よりよいトレードオフを実現し、それらをメカニズム設計に使用する方法を示します。
論文 参考訳(メタデータ) (2024-08-09T16:03:44Z) - Measuring the Effect of Influential Messages on Varying Personas [67.1149173905004]
我々は、ニュースメッセージを見る際にペルソナが持つ可能性のある応答を推定するために、ニュースメディア向けのペルソナに対するレスポンス予測という新しいタスクを提示する。
提案課題は,モデルにパーソナライズを導入するだけでなく,各応答の感情極性と強度も予測する。
これにより、ペルソナの精神状態に関するより正確で包括的な推測が可能になる。
論文 参考訳(メタデータ) (2023-05-25T21:01:00Z) - Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards
Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。
正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。
人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
論文 参考訳(メタデータ) (2022-01-27T22:15:56Z) - Plinko: A Theory-Free Behavioral Measure of Priors for Statistical
Learning and Mental Model Updating [62.997667081978825]
Plinko(リンク)は,参加者が利用可能なすべての結果に対してボール滴の分布を推定する行動課題である。
対象者は,確率分布の確率分布を中心にクラスタリングし,事前クラスタメンバシップは学習能力を示す可能性があることを示す。
我々は,個々の参加者が信頼できる表現であり,物理的に不可解な球滴分布に直面した場合,学習が阻害されないことを検証した。
論文 参考訳(メタデータ) (2021-07-23T22:27:30Z) - Causal Inference Struggles with Agency on Online Platforms [32.81856583026165]
ユーザの自己選択から導かれる観察研究の有効性を評価することを目的として,Twitter上で4つの大規模内部スタディ比較を行った。
この結果から,ユーザの自己選択から導かれる観察研究は,オンラインプラットフォーム上でのランダム化実験の代替手段として不十分であることが示唆された。
論文 参考訳(メタデータ) (2021-07-19T16:14:00Z) - Counterfactual Predictions under Runtime Confounding [74.90756694584839]
本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。
本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
論文 参考訳(メタデータ) (2020-06-30T15:49:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。