論文の概要: Prediction or Persistence? What Future-Prediction Scores Miss About World Models
- arxiv url: http://arxiv.org/abs/2611.15082v1
- Date: Wed, 11 Nov 2026 05:56:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.060613
- Title: Prediction or Persistence? What Future-Prediction Scores Miss About World Models
- Title(参考訳): 予測と永続性 : 世界モデルに関する未来予測スコアの欠落
- Abstract要約: 我々は、ロボット学習のコンポーネントとして、事前訓練されたビデオワールドモデルを比較し、選択する。
家庭内エゴシックビデオによる27,000件の将来の検索トライアルでは、モデルが11人の候補者の中からクリップの真の継続を選択する必要がある。
各モデルは永続化制御とペアリングされ、予測子が決して呼び出されない同一のコピーである。
それぞれの予測スコアを,その持続的ベースラインとともに報告することを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pretrained video world models are compared and chosen as components for robot learning largely by future-prediction scores. On its own, such a score cannot be read as evidence of prediction, because it mixes encoder quality, the near future's resemblance to the recent past, and the predictor's own contribution. We separate the three with a matched control. On 27,000 future-retrieval trials from household egocentric video, a model must pick the true continuation of a clip among eleven candidates from the same video (chance 0.091), ranked zero-shot by its own training criterion. Each model is paired with a persistence control, an identical copy whose predictor is never invoked, so the paired difference isolates the predictor. Score and contribution dissociate within the native-video V-JEPA family alone: the predictor adds +0.291 top-1 for V-JEPA 2.1 but +0.03 to +0.04 for V-JEPA 2 on the identical trials. Across five models the contribution ranges from +0.291 to negative, and it is negative only for the two action-conditioned models, which we evaluate outside their training regime. Persistence alone recovers the encoder ordering expected from pretraining, a sign that the probe tracks real signal. We suggest reporting each future-prediction score together with its persistence baseline. The gap between them, not the score, is what makes the number interpretable: a necessary check costing one forward pass. Establishing downstream usefulness is a separate matter, for a planning or control evaluation.
- Abstract(参考訳): 事前訓練されたビデオワールドモデルは、将来の予測スコアによって、ロボット学習のコンポーネントとして比較され、選択される。
このようなスコアは、エンコーダの品質、近未来の過去と似ていること、予測者の貢献が混ざり合っているため、予測の証拠として読むことはできない。
私たちはマッチしたコントロールで3つを分離します。
家庭内エゴシックビデオによる27,000件の将来の検索トライアルでは、同じビデオからの11人の候補者のうちのクリップの真の継続(以下0.091)をモデルが選択し、そのトレーニング基準によってゼロショットにランク付けしなければならない。
各モデルは、予測器が決して呼び出されない同一のコピーである永続化制御とペアリングされるため、ペアリングされた差分は予測器を分離する。
スコアとコントリビューションは、ネイティブビデオV-JEPAファミリー内でのみ解離する: 予測子は、V-JEPA 2.1の+0.291トップ-1を付加するが、V-JEPA 2の+0.03を+0.04に付加する。
5つのモデルにまたがって、貢献率は+0.291から負の範囲であり、2つのアクション条件付きモデルに対してのみ負となる。
永続性のみは、プローブが実際の信号を追跡する兆候である事前訓練から期待されるエンコーダの順序を回復する。
それぞれの予測スコアを,その持続的ベースラインとともに報告することを提案する。
これらの間のギャップは、スコアではなく、数字を解釈可能なものにしている。
下流の有用性を確立することは、計画または制御評価のための別の問題である。
関連論文リスト
- When Are Predictions Enough? An Evaluation Protocol for Frozen Expert Composition [43.0484058393522]
再利用可能な評価プロトコルを導入し、DF40から21個の凍結したディープフェイク検出器に適用し、評価選択が結論をどう変えるかを評価する。
このプロトコルは、強力な予測ベースラインを使用し、シンプルで大きな機能コンバインダを比較し、アーキテクチャとトレーニングデータを別々に変更し、列車/テストのオーバーラップ制御を備えた保留ジェネレータによる結果を報告する。
論文 参考訳(メタデータ) (2026-11-09T23:30:52Z) - IsoVRBench: Video Reward Modeling Without Human Feedback [80.72291973618601]
我々は、残余を固定しながら生成したビデオの1つの特性を変化させる制御介入により、好みのペアを構築する。
現状のモデルでは、ジェネレータ間での幅広い品質差を区別するが、時間的順序などの重要な特徴を欠いていることを示す。
論文 参考訳(メタデータ) (2026-10-12T18:03:36Z) - FutureWorlds: Learning Robotic World Models from Alternative Futures [63.860917821424955]
FutureWorldsは、候補構築、履歴の保守、相対的な品質からの学習を統合するフレームワークである。
マルチモーダルな離散自己回帰モデルに基づいて構築されたFutureWorldsは、強化学習中に多様なビームサーチを使用して、信頼性と多様性のバランスをとる候補となる未来を構築する。
論文 参考訳(メタデータ) (2026-10-01T04:04:31Z) - Do Synthetic Personas Predict Real Audience Response? A Sim-to-Real Study Where a No-Persona Baseline Beats Persona-Based Copy Simulation [51.56484100374058]
そこで我々は,Upworthy Research Archiveを用いて,シミュレート・トゥ・リアルな妥当性について検討する。
実際の聴衆の人口統計に基づく10人のパネルと、一般的な読者がクリックする確率をモデルに尋ねるゼロショットベースラインを比較した。
論文 参考訳(メタデータ) (2026-07-27T17:03:03Z) - WorldCupArena: Fine-Grained Evaluation of Language Models and Deep-Research Agents on Football Forecasting [10.941871398755403]
We present WorldCupArena, a benchmark for language model and Deep-Research agent。
結果とスコア、おそらくプレイヤーやイベント、統計、そして競技結果を予測する。
予測されたスコアが近いが正確ではない場合に、結果の精度、精度、スコアラインスコアを報告する。
論文 参考訳(メタデータ) (2026-07-20T15:52:48Z) - The Oracle's Fingerprint: Correlated AI Forecasting Errors and the Limits of Bias Transmission [0.0]
GPT-4o, Claude, Gemini は2進予測問題に対して高い相関の予測誤差を示した。
研究2では,この相関バイアスがヒトの群集予測に伝播したかどうかを検証した。
研究3では,人間の予測誤差のカテゴリーレベルのパターンがLLMバイアス指紋に近づきつつあるかを検討した。
論文 参考訳(メタデータ) (2026-04-07T19:45:40Z) - Confidence and Dispersity Speak: Characterising Prediction Matrix for
Unsupervised Accuracy Estimation [51.809741427975105]
この研究は、ラベルを使わずに、分散シフト下でのモデルの性能を評価することを目的としている。
我々は、両方の特性を特徴付けるのに有効であることが示されている核規範を用いる。
核の基準は既存の手法よりも正確で堅牢であることを示す。
論文 参考訳(メタデータ) (2023-02-02T13:30:48Z) - What Can Secondary Predictions Tell Us? An Exploration on
Question-Answering with SQuAD-v2.0 [0.0]
我々は、例の黄金のランク(GR)を、根拠となる真実と正確に一致する最も自信のある予測のランクとして定義する。
我々が分析した16の変圧器モデルでは、第2の予測空間における正確に一致した黄金の答えの大部分は、最上位に非常に近い位置にある。
GRIM(Golden Rank Interpolated Median)と呼ばれる,テストセット全体の新しい集計統計を導出する。
論文 参考訳(メタデータ) (2022-06-29T01:17:47Z) - Selective Prediction via Training Dynamics [31.708701583736644]
本研究では,モデルのトレーニング力学を学習することで,最先端の選択的予測性能が得られることを示す。
特に、トレーニングの後半段階で最終予測と大差ないデータポイントを拒否する。
提案された拒絶機構はドメインに依存しない(すなわち、離散予測と実数値予測の両方に有効)、既存の選択的予測手法と柔軟に組み合わせることができる。
論文 参考訳(メタデータ) (2022-05-26T17:51:29Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳(メタデータ) (2021-06-22T18:29:58Z) - Less is More: Sparse Sampling for Dense Reaction Predictions [60.005266111509435]
本稿では,ビデオチャレンジからの2021Evoked Expressionを提案する。
本モデルでは,音声と画像の両モードを入力として,視聴者の感情変化を予測する。
提案手法は, 最終プライベートテストセットにおいて, ピアソンの相関スコア0.04430を達成した。
論文 参考訳(メタデータ) (2021-06-03T11:33:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。