論文の概要: Grid-Bench: Can LLMs Predict How Discrete Worlds Change?

• arxiv url: http://arxiv.org/abs/2610.22312v1
• Date: Thu, 15 Oct 2026 17:50:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.241596
• Title: Grid-Bench: Can LLMs Predict How Discrete Worlds Change?
• Title（参考訳）: グリッドベンチ: LLMはどのように世界を変えるかを予測できるか?
• Abstract要約: ここでは,2次元,3次元,4次元の格子で表される離散世界を8種類の演算系で変換するGrid-Benchを提案する。 Grid-Benchは、完全な回復と、返却状態のこれらの相違を、様々な空間的条件で直接測定できる。
• 参考スコア（独自算出の注目度）: 50.3858682651909
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatial instructions describe how to move objects, transform regions, or modify their surroundings. When several operations are applied in sequence, each acts on a configuration shaped by earlier changes. How accurately can large language models (LLMs) predict the resulting spatial state? We introduce Grid-Bench, an executable benchmark in which eight families of operations transform discrete worlds represented as two-, three-, and four-dimensional grids. Given an initial grid, explicit rules, and an event history expressed as text, a model predicts the complete final grid. Reference execution makes every predicted value checkable, supporting comparisons across spatial operations, history lengths, and workloads. Evaluating six LLMs shows that complete-state accuracy falls sharply as histories grow, with substantial divergence among models that perform similarly on single events. Models with similar exact-match accuracy can nevertheless differ substantially in the number of incorrect cells on shared instances. Even over long histories, some models recover many correct changes beyond what copying the initial state would yield. Grid-Bench makes both complete recovery and these differences in returned states directly measurable across a range of spatial conditions.
• Abstract（参考訳）: 空間的な指示は、オブジェクトを移動させたり、領域を変換したり、周囲を変更する方法を記述している。 いくつかの操作がシーケンスで適用されると、各操作は以前の変更によって形作られた構成に作用する。 大規模言語モデル(LLM)は、結果の空間状態を正確に予測できるのか? ここでは,2次元,3次元,4次元の格子で表される離散世界を8種類の演算系で変換するGrid-Benchを提案する。 初期グリッド、明示的なルール、およびテキストとして表現されたイベント履歴が与えられた場合、モデルは完全な最終グリッドを予測する。 参照実行はすべての予測値をチェックし、空間演算、履歴長、ワークロード間の比較をサポートする。 6つのLSMを評価することは、履歴が大きくなるにつれて完全状態の精度が急激に低下し、単一のイベントでも同様に実行されるモデル間でかなりのばらつきがあることを示している。 類似した正確なマッチング精度を持つモデルは、共有インスタンス上の不正確なセルの数で大きく異なる可能性がある。 長い歴史でさえ、初期状態のコピーがもたらすもの以外の多くの正しい変化を復元するモデルもある。 Grid-Benchは、完全な回復と、返却状態のこれらの相違を、様々な空間的条件で直接測定できる。

関連論文リスト

• Relational Learning as World Modeling [14.53852276085822]
  運用システムでは、答えはデータベース自身では見えないかもしれないシステム固有のダイナミクスに依存します。 本研究では,TabWM (Tabular World Model) と WOREL (WorldRel) を導入した。
  論文  参考訳（メタデータ） (2026-10-12T13:24:37Z)
• MinCU: A Fine-Grained Benchmark for Grounded Minimal-Change Understanding in Image Pairs [75.68851107229308]
  マルチモーダル大言語モデル(MLLM)において、身近な画像間のきめ細かい相違の局所化と記述は、重要で未探索の能力である。 各サンプルは、対象カテゴリ、属性、カウント、空間的位置の1つの原子的変化によって異なる画像対から構成される。
  論文  参考訳（メタデータ） (2026-09-20T03:48:09Z)
• AGI Maze Prediction Datasets: A Compact Benchmark for Learning World Dynamics with Transformers [0.0]
  AGI Maze予測データセットとベンチマークを紹介する。 ベンチマークには、ステップごとの遷移予測、固定水平状態予測、シーケンシャルテキスト保存予測が含まれる。 その結果、構造化されたタスクアラインなワーキングメモリは、追加の潜在能力よりも有用であることが示唆された。
  論文  参考訳（メタデータ） (2026-09-02T09:15:33Z)
• SocietyBench: Forecasting Counterfactual Social-World Evolution [1.4943316571343976]
  補完的な社会的能力、すなわち、モデルが実際の社会的事象の展開方法を理解し、予測する方法は、ほとんど測定されていない。 私たちはSocietyBenchを紹介します。これはエンドツーエンドのベンチマークで、1行のイベントトピックを取り上げ、5つのプラットフォームでWebニュースやソーシャルメディアの投稿を収集します。 質問は2つの100点軸(確率校正と時間精度)でスコアされる。
  論文  参考訳（メタデータ） (2026-08-04T17:59:56Z)
• Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games [69.57330692969543]
  RNG-Benchは、過去の観測を再構築するベースモデルの能力を分離するために設計されたベンチマークスイートである。 RNG-Benchには2つの補完ゲームがある: マッチングペア(英語版) - 特定の場所でカードのIDを短期間明らかにする) と、エゴセントリックなビューを空間地図に統合する3D Maze である。 最も難しい構成では、約128Kのトークンと350のイメージ入力のコンテキストが必要であり、フロンティアMLLMによる飽和には程遠いままである。
  論文  参考訳（メタデータ） (2026-06-17T17:59:34Z)
• GeoToken: Hierarchical Geolocalization of Images via Next Token Prediction [23.767061975974134]
  本研究では,ヒトが広い地域から特定の住所まで場所を狭める方法に着想を得た階層的シーケンス予測手法を提案する。 本手法では, ネストした多解像度グローバルグリッドであるS2セルを用いて, 視覚入力と過去の予測に基づいて, より微細なセルを逐次予測する。 我々は,Im2GPS3kとYFCC4kのデータセットを2つの異なるベースラインに対して評価した。
  論文  参考訳（メタデータ） (2025-11-02T21:30:06Z)
• Diffusion Transformer Policy [48.50988753948537]
  本稿では,拡散変圧器ポリシー(Diffusion Transformer Policy)と呼ばれる多モード拡散変圧器を提案し,連続的なエンドエフェクタ動作をモデル化する。 トランスのスケーリング機能を活用することで、提案手法は、多種多様なロボットデータセットにわたる継続的エンドエフェクタアクションを効果的にモデル化することができる。
  論文  参考訳（メタデータ） (2024-10-21T12:43:54Z)
• Finding Geometric Models by Clustering in the Consensus Space [61.65661010039768]
  本稿では,未知数の幾何学的モデル,例えばホモグラフィーを求めるアルゴリズムを提案する。 複数の幾何モデルを用いることで精度が向上するアプリケーションをいくつか提示する。 これには、複数の一般化されたホモグラフからのポーズ推定、高速移動物体の軌道推定が含まれる。
  論文  参考訳（メタデータ） (2021-03-25T14:35:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。