論文の概要: Pixels to Keys: Exploring Spatial and Motion Cues in Gameplay Inverse Dynamics

• arxiv url: http://arxiv.org/abs/2609.37907v2
• Date: Wed, 30 Sep 2026 02:00:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.33188
• Title: Pixels to Keys: Exploring Spatial and Motion Cues in Gameplay Inverse Dynamics
• Title（参考訳）: Pixels to Keys: ゲームプレイ逆ダイナミクスにおける空間的および運動的キューの探索
• Abstract要約: フレームから入力を推測する逆ダイナミクスモデル (IDM) が提案されている。 空間運動特徴がIMMの結果に与える影響を評価するために,データ制約シナリオにおける問題を考察した。 同じアーキテクチャとトレーニングのレシピをCyberpunk 2077に適用すると、ゲームメカニック間の不均一なパフォーマンスが明らかになる。
• 参考スコア（独自算出の注目度）: 5.238180146550318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video games offer scalable environments for studying perception and control in embodied agents. Abundant online gameplay videos could supply demonstrations, but they rarely include player inputs for training. Inverse Dynamics Models (IDMs) have thus been proposed to infer inputs from frames. Large (up to 1B parameters) IDMs trained on $\sim$1K-2K gameplay hours demonstrate feasibility and cross-environment generalization at this scale, but researchers do not clarify what the key components are to recover individual actions and often report only aggregate accuracy that can mask rare-action failures. We study the problem in a data-constrained scenario to evaluate how spatial motion features, model architectures, and training objectives affect an IDM's outcome and we analyse our models on per-key and balanced metrics such as $F_1^{macro}$. Our experiments on Trackmania highlight the importance of factors like the model architecture and motion flow extraction in preprocessing, while also showing the limits of evaluation through unbalanced metrics. The application of the same architecture and training recipe to Cyberpunk 2077 reveals uneven performance across game mechanics. Our per-action evaluation and failure analysis highlight ambiguities from camera motion, delayed effects and imbalanced key-press frequencies that call for explicit modeling of 3D scene structure, long-term state and the adoption of proper losses in future implementations.
• Abstract（参考訳）: ビデオゲームは、エンボディエージェントの知覚と制御を研究するためのスケーラブルな環境を提供する。 オンラインゲームプレイビデオはデモを提供することができるが、トレーニング用にプレイヤー入力を含めることは滅多にない。 したがって、フレームから入力を推測するために逆ダイナミクスモデル(IDM)が提案されている。 大規模な(最大1Bパラメータ)1K-2Kゲームプレイ時間でトレーニングされたIMMは、このスケールで実現可能性と相互環境の一般化を示すが、研究者は個々のアクションを回復するために重要なコンポーネントが何であるかを明らかにしておらず、稀な動作の失敗を隠蔽できる集計精度しか報告しないことが多い。 我々は、空間運動の特徴、モデルアーキテクチャ、訓練対象がIMMの結果に与える影響を評価するために、データ制約のあるシナリオにおける問題を調査し、F_1^{macro}$のようなキー単位およびバランスの取れたメトリクス上でモデルを解析する。 トラックマニアにおける実験では,前処理におけるモデルアーキテクチャや運動フロー抽出などの要因の重要性を強調しつつ,不均衡なメトリクスによる評価の限界を示した。 同じアーキテクチャとトレーニングのレシピをCyberpunk 2077に適用すると、ゲームメカニック間の不均一なパフォーマンスが明らかになる。 動作毎の評価と故障解析は,3次元シーン構造の明示的モデリング,長期状態,将来の実装における適切な損失の適切な適用を要求されるカメラモーション,遅延効果,不均衡なキープレッシャの曖昧さを浮き彫りにしている。

関連論文リスト

• KineBench: Benchmarking Embodied World Models via IDM-Free Kinematic Grounding [58.541098216700796]
  エンボディド・ワールド・モデルの 物理的整合性を評価することは 重要なオープン・チャレンジです 既存のフレームワークはほとんどがアクション抽出に逆ダイナミクスモデル(IDM)に依存している。 IDMのないEWMのためのクローズドループベンチマークであるKineBenchを紹介する。
  論文  参考訳（メタデータ） (2026-07-22T08:04:17Z)
• GameplayQA: A Benchmarking Framework for Decision-Dense POV-Synced Multi-Video Understanding of 3D Virtual Agents [4.920953895710103]
  本稿では,エージェント中心の認識と推論をビデオ理解を通じて評価するフレームワークであるGameplayQAを紹介する。 我々は,自己,他エージェント,世界という三進的システムを中心に構築された状態,行動,イベントの同時キャプションを同期した,1.22ラベル/秒のマルチプレイヤー3Dゲームプレイビデオを高密度に注釈付けする。 これらのアノテーションを用いて,3段階の認知複雑性に分類された2.4Kの診断QAペアを改良し,構造的障害分類を行った。
  論文  参考訳（メタデータ） (2026-03-25T14:10:45Z)
• Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
  我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。 PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。 ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
  論文  参考訳（メタデータ） (2025-08-13T13:54:51Z)
• Spatial-Temporal Graph Diffusion Policy with Kinematic Modeling for Bimanual Robotic Manipulation [88.83749146867665]
  既存のアプローチは、遠く離れた次のベストなエンドエフェクタのポーズを予測するポリシーを学びます。 すると、運動に対する対応する関節回転角を逆運動学を用いて計算する。 本稿では,Kinematics 拡張空間テンポアル gRaph diffuser を提案する。
  論文  参考訳（メタデータ） (2025-03-13T17:48:35Z)
• On Occlusions in Video Action Detection: Benchmark Datasets And Training Recipes [14.464718780172582]
  本稿では,映像行動検出におけるオクルージョンの影響について検討する。 我々は,O-UCF,O-JHMDB,OVIS-UCF,OVIS-JHMDB,Real-OUCFの5つのベンチマークデータセットを紹介する。 これらのレシピを利用するモデルは、O-UCFでは32.3%、O-JHMDBでは32.7%、Real-OUCFでは2.6%で、既存のビデオアクション検出器よりも優れている。
  論文  参考訳（メタデータ） (2024-10-25T13:27:55Z)
• Hindsight for Foresight: Unsupervised Structured Dynamics Models from Physical Interaction [24.72947291987545]
  エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。 本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-08-02T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。