論文の概要: ScratchWorld: Evaluating If World Models Compute Executable Consequences
- arxiv url: http://arxiv.org/abs/2606.31689v1
- Date: Tue, 30 Jun 2026 14:02:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.244555
- Title: ScratchWorld: Evaluating If World Models Compute Executable Consequences
- Title（参考訳）: ScratchWorld: World Models Compute Executable Consequencesの評価
- Abstract要約: 我々は、Scratchプロジェクトを実行可能な世界として扱うオフライン診断ベンチマークであるScratchWorldを紹介した。
ScratchWorldは、次の状態予測、ロングホライゾントラッキング、因果イベント属性、および反事実予測を評価する。
- 参考スコア（独自算出の注目度）: 2.3981743514438087
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World-model evaluations often score a predicted future by overlap with a target state or observation. In sparse-change worlds, this can turn copied persistent state into apparent accuracy. We introduce ScratchWorld, an offline diagnostic benchmark that treats Scratch projects as executable worlds and uses a pinned Scratch VM to produce replay-verified transitions, hidden variables, causal traces, and counterfactual outcomes. ScratchWorld evaluates next-state prediction, long-horizon tracking, causal event attribution, and counterfactual prediction; each replay-verified target can be presented under raw-program, structured-state, natural-language, or rendered input modalities, and our experiments use the structured-state condition. Its primary state metric is value-aware changed-field $F_1$, which gives credit only for the changed field and its executed value. In a 659-example release, seven prompted language/reasoning models reach at most 13.8% value-aware changed-field $F_1$ in a state-only partial-observation stress test. A same-instance copy diagnostic makes the overlap confound concrete: copying the input state reaches 98.0% implied full-state field accuracy and 0.0% changed-field $F_1$, with the largest inflation on real projects. Auxiliary diagnostics separate hidden-state rollout drift, intervention sensitivity, causal attribution, and perturbation robustness. Across these settings, models often react to actions or interventions without following the executable rule that determines the changed value.
- Abstract（参考訳）: 世界モデル評価は、しばしば目標状態や観測と重なることによって予測される未来を評価する。
スパース・チェンジの世界では、コピーされた永続状態が明らかに正確になる。
我々は、Scratchプロジェクトを実行可能な世界として扱うオフライン診断ベンチマークであるScratchWorldを紹介し、ピン留めされたScratch VMを使用して、リプレイ検証されたトランジション、隠れ変数、因果トレース、偽結果を生成する。
ScratchWorldは、次状態予測、長期追跡、因果事象属性、および反ファクト予測を評価し、各リプレイ検証対象を、生プログラム、構造化状態、自然言語、レンダリングされた入力モダリティで提示することができる。
主な状態メートル法は、値認識された変更フィールド$F_1$であり、変更フィールドとその実行された値に対してのみクレジットを与える。
659-exampleリリースでは、7つの言語/推論モデルが、州のみの部分観測ストレステストにおいて、最大で13.8%の値認識変更フィールド$F_1$に達した。
入力状態のコピーは98.0%のインプットフルステートフィールド精度、0.0%の変更フィールド$F_1$に達し、実際のプロジェクトにおいて最大のインフレーションとなる。
補助診断は、隠れ状態のロールアウトドリフト、介入感度、因果帰属、摂動堅牢性を分離する。
これらの設定全体で、モデルはしばしば、変化した値を決定する実行可能なルールに従うことなく、アクションや介入に反応します。
関連論文リスト
- Confident at the moment of action: belief miscalibration in LLM play under hidden information [0.0]
エージェントシステムは、モデル自身の主張する信頼に対するアクションをますますゲートし、信頼は行動の瞬間の正確性を追跡すると仮定する。
我々はこれを秘密裏に、王族の地位を秘密裏に、断片間で繰り返し移動できる秘密情報チェス変種でテストする。
このパターンを示すモデルは、その信念が持つゲームにまだ勝てる可能性があるため、結果のみの評価がそれを検出できない。
論文 参考訳（メタデータ） (2026-08-25T15:18:18Z) - Reading the Room: Implicit Confusion Encoding in Recurrent World Model States [0.0]
我々は、予測エラーのトラックの混乱を軽減するために、繰り返し発生する隠れ状態$h_t$を示す。
これは、新しい入力をフラグするアンサンブルの不一致と、現在悪い予測をフラグするリコンストラクションエラーとを機能的に区別している。
論文 参考訳（メタデータ） (2026-08-21T19:32:38Z) - The Low Frequency Trap: Video Language Models Fail at Simple Event Bookkeeping [70.07961857926377]
3つの制御されたビデオタスクにおけるイベントカウントのためのトレーサグラウンドパラメトリックプロファイリングを導入する。
2,190本のビデオでは,レンダリングを保ちながらイベントカウントNと周波数Fが異なる。
80%の信頼性しきい値において、Gemini 3.6 Flashは、0.5Hzと1.0Hzの12イベントまでの永続的な状態遷移を確実にカウントするが、過渡的点滅イベントに対する信頼性の高い正カウント領域は示さない。
論文 参考訳（メタデータ） (2026-08-06T17:57:06Z) - Exposure Bias as Epistemic Underidentification in Recursive Forecasting [1.2489632787815885]
部分的な可観測性や状態乱れの下では、再帰的なロールアウトも未同定の問題であることを示す。
決定論的潜在力学であっても、ワンステップベイズ監督は観察された文脈でのみ行動を特定する。
我々は、誘導状態$Z$と証明変数$P$でこれを定式化し、誘導状態エラーを教師強制/ロールアウトミスマッチに分解する。
論文 参考訳（メタデータ） (2026-06-11T07:25:15Z) - PatchWorld: Gradient-Free Optimization of Executable World Models [69.05094454437402]
我々は、オフラインのトラジェクトリを実行可能なPythonの世界モデルに変換する、勾配のないフレームワークであるPatchWorldを紹介します。
7つのAgentGym環境の中で、PatchWorld-Simpleはコードベースの計画スコアが最も高い。
人間の特定残差バイアスは, 表面観察精度を向上するが, 判定性は低下する。
論文 参考訳（メタデータ） (2026-05-29T06:11:14Z) - Chess-World-Model: A 10M-Game Benchmark for Exact State Tracking from Chess Move Sequences [2.7214777196418645]
我々は1000万の実際のチェスゲームから構築された大規模ステートトラッキングベンチマークであるChess-World-Modelを紹介した。
我々は、負の固有値を持つ因果変換器、ブロック対角SLiCE、Mamba-3、Gated DeltaNetをベンチマークする。
リアルゲームのパフォーマンスは1800万以上のパラメータで飽和するが、ランダムな一様分割は最大4000万まで差別的であり、それ以外はスケールによって隠された失敗を露呈する。
論文 参考訳（メタデータ） (2026-05-28T15:43:31Z) - World Models in Words: Auditing Physical State-Transition Commitments in Vision-Language Models [3.1727619150610837]
視覚言語モデル(VLM)は、物理シーンに関する質問に答えるためにますます使われている。
本稿では,VLMの物理コミットメントを評価するための評価フレームワークwmwを紹介する。
ハイブリッド検証器は、スキーマの妥当性、状態基底、遷移整合性、応答-トレース互換性をチェックする。
論文 参考訳（メタデータ） (2026-05-28T08:29:32Z) - Beyond Binary Success: A Diagnostic Meta-Evaluation Framework for Fine-Grained Manipulation [98.79811866787263]
診断メタ評価フレームワークであるMetaFineを紹介する。
局所的な空間構造を保存できる視覚エンコーダの能力は,きめ細かな精度の鍵となるボトルネックである。
評価をランキングから診断にシフトすることで、MetaFineは、ベンチマークを実際の物理デキスタリティに基づく階層化された能力の修復のための実行可能なコンパスに変換する。
論文 参考訳（メタデータ） (2026-05-19T15:25:13Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - Step-Level Visual Grounding Faithfulness Predicts Out-of-Distribution Generalization in Long-Horizon Vision-Language Models [0.7919969809015935]
時間的根拠に基づく信念を維持するモデルはより一般化されていることを示す。
我々はこれを長い地平線上での行動的忠実さとして定式化する。
時間的接地品質がロバスト性の主要な指標であることを示す。
論文 参考訳（メタデータ） (2026-03-06T19:43:26Z) - UncTrack: Reliable Visual Object Tracking with Uncertainty-Aware Prototype Memory Network [75.9933952886197]
UncTrackは、標的位置の不確実性を予測する新しい不確実性対応トランスフォーマーである。
本手法は実験における他の最先端手法よりも優れる。
論文 参考訳（メタデータ） (2025-03-17T07:33:16Z) - OpenPI-C: A Better Benchmark and Stronger Baseline for Open-Vocabulary
State Tracking [55.62705574507595]
OpenPIは、オープン語彙状態トラッキング用に注釈付けされた唯一のデータセットである。
手順レベル,ステップレベル,状態変化レベルの3つの問題を分類する。
評価指標として,クラスタベースの計量法を提案する。
論文 参考訳（メタデータ） (2023-06-01T16:48:20Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。