論文の概要: Physical Object Understanding with a Physically Controllable World Model
- arxiv url: http://arxiv.org/abs/2606.00439v1
- Date: Sat, 30 May 2026 00:10:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.455737
- Title: Physical Object Understanding with a Physically Controllable World Model
- Title（参考訳）: 物理制御可能な世界モデルを用いた物体理解
- Abstract要約: ビジュアルインテリジェンスにおける中心的な課題は、生のビデオからシーンの物理的構造を学ぶことである。
本稿では,視覚変数の確率推定を支援する確率論的世界モデルについて紹介する。
私たちの世界モデルは3Dでオブジェクトを操作できることを示し、Visual Jengaのようなアプリケーションを可能にします。
- 参考スコア（独自算出の注目度）: 11.085294403458972
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A central challenge in visual intelligence is learning the physical structure of scenes from raw videos: how regions form objects and the laws that govern their interactions. Solving these tasks requires world models capable of inferring distributional states of the world from partial observations - capabilities that current architectures do not provide. We introduce a new class of probabilistic world models that support estimation of the probability of any visual variable, such as appearance and dynamics, conditioned on any other variables. Here, we identify that these models can be trained efficiently with autoregressive sequence modeling, yielding world models from which rich object understanding emerges. First, we demonstrate that our model captures the physical laws governing how objects move by generating multiple plausible future states of the world through sequential inference. Then, by analyzing motion correlations across these futures, we extract objects and articulated object subparts. Having discovered these objects, we show that our world model can manipulate them in 3D. Finally, we demonstrate how physical relationships between objects can be computed from the world model, enabling applications such as Visual Jenga.
- Abstract（参考訳）: ビジュアルインテリジェンスにおける中心的な課題は、シーンの物理的構造を生のビデオから学ぶことだ。
これらの課題を解決するには、現在のアーキテクチャが提供していない機能である部分的な観察から世界の分布状態を推測できる世界モデルが必要である。
本稿では,他の変数に条件付けされた外見や力学などの視覚変数の確率を推定する確率論的世界モデルについて紹介する。
ここでは、これらのモデルが自己回帰的シーケンスモデリングによって効率的に訓練され、リッチなオブジェクト理解が生まれる世界モデルが得られることを確かめる。
まず、我々のモデルは、連続的な推論によって、世界の複数の有望な未来状態を生成することによって、オブジェクトの移動を規定する物理法則を捉えていることを実証する。
そして,これらの未来にまたがる動きの相関を解析することにより,対象を抽出し,対象部分の調音を行う。
これらの物体を発見し、我々の世界モデルがそれらを3Dで操作できることを示します。
最後に、オブジェクト間の物理的関係が世界モデルからどのように計算され、Visual Jengaのようなアプリケーションを可能にするかを示す。
関連論文リスト
- Deform360: A Massive Multi-view Visuotactile Dataset for Deformable World Models [36.26785019314161]
Deform360は、198個の日常生活オブジェクト、1,980個の相互作用シーケンス、41個のサラウンドビューカメラとバイマンの触覚からの215時間以上の観測を特徴とする大規模なビゾタクティルデータセットである。
2次元映像モデルと3次元粒子モデルを比較し,現状の世界のモデルを評価する。
論文 参考訳（メタデータ） (2026-07-06T17:59:18Z) - Learning Action-Conditional and Object-Centric Gaussian Splatting World Models for Rigid Objects [4.870609209341298]
我々は3次元の剛体物体の動作条件力学を学習する新しいモデルを開発した。
シミュレーションにおける非包括的操作のためのモデル予測制御におけるモデルの評価を行った。
論文 参考訳（メタデータ） (2026-06-01T09:12:07Z) - WorldString: Actionable World Representation [29.267308971639682]
我々は,ポイントクラウドやRGB-Dビデオストリームから直接学習することで,実世界のオブジェクトの状態多様体をモデル化できるニューラルネットワークであるWorldStringを提案する。
WorldStringは物理世界モデルの基本的なビルディングブロックとして機能するので、WorldStringと名付けます。しかしながら、その完全に差別化可能な構造は、ポリシー学習とニューラルダイナミクスとの将来の統合をシームレスに実現します。
論文 参考訳（メタデータ） (2026-05-18T17:58:51Z) - Latent Particle World Models: Self-supervised Object-centric Stochastic Dynamics Modeling [51.40150411616207]
実世界のマルチオブジェクトデータセットに拡張された自己教師型オブジェクト中心の世界モデルであるLatent Particle World Model (LPWM)を紹介する。
LPWMは、ビデオデータから直接キーポイント、バウンディングボックス、オブジェクトマスクを自律的に発見する。
私たちのアーキテクチャは、純粋にビデオからエンドツーエンドにトレーニングされ、アクション、言語、イメージ目標に対するフレキシブルな条件付けをサポートします。
論文 参考訳（メタデータ） (2026-03-04T19:36:08Z) - ObjectForesight: Predicting Future 3D Object Trajectories from Human Videos [48.24897274501108]
本研究では,3次元オブジェクト中心のダイナミックスモデルを導入し,短い自我中心の映像シーケンスから剛体物体の将来の6-DoFのポーズと軌跡を予測する。
ピクセルまたは潜在空間で動作する従来の世界やダイナミクスモデルとは異なり、ObjectForesightはオブジェクトレベルで3Dで明示的に世界を表現する。
我々は、ObjectForesightが、未確認のオブジェクトやシーンへの精度、幾何整合性、一般化において、大幅に向上することを示す。
論文 参考訳（メタデータ） (2026-01-08T18:58:08Z) - WorldLens: Full-Spectrum Evaluations of Driving World Models in Real World [100.68103378427567]
エージェントは現実的な4D駆動環境を合成し、説得力があるように見えるが、物理的または行動的に失敗することが多い。
モデルがどのように構築され、理解され、その生成された世界の中でどのように振る舞うかを評価するフルスペクトルベンチマークであるWorldLensを紹介します。
さらに、数値的なスコアとテキストの合理性を備えた人間の注釈付きビデオの大規模データセット WorldLens-26K を構築し、WorldLens-Agent を開発した。
論文 参考訳（メタデータ） (2025-12-11T18:59:58Z) - Simulating the Visual World with Artificial Intelligence: A Roadmap [48.64639618440864]
ビデオ生成は、視覚的に魅力的なクリップを生成するものから、インタラクションをサポートし、物理的な可視性を維持する仮想環境を構築するものへとシフトしている。
この調査は、この進化の体系的な概要を提供し、現代のビデオ基盤モデルを2つのコアコンポーネントの組み合わせとして概念化した。
4世代にわたる映像生成の進展を追究し,本質的な物理的妥当性を具現化した映像生成モデルを構築した。
論文 参考訳（メタデータ） (2025-11-11T18:59:50Z) - Dyn-O: Building Structured World Models with Object-Centric Representations [42.65409148846005]
オブジェクト中心の表現に基づいて構築された拡張構造化世界モデルであるDyn-Oを紹介する。
オブジェクト中心表現における以前の研究と比較すると、Dyn-Oは学習表現とモデリングダイナミクスの両方において改善されている。
提案手法は,画素観測からオブジェクト中心の世界モデルを直接学習し,DreamerV3のロールアウト予測精度を向上する。
論文 参考訳（メタデータ） (2025-07-04T05:06:15Z) - SlotPi: Physics-informed Object-centric Reasoning Models [37.32107835829927]
物理インフォームドオブジェクト中心推論モデルであるSlotPiを紹介する。
我々の実験は、ベンチマークや流体データセット上での予測や視覚質問応答(VQA)といったタスクにおけるモデルの強みを強調した。
我々は、オブジェクトの相互作用、流体力学、流体オブジェクトの相互作用を含む実世界のデータセットを作成し、モデルの性能を検証した。
論文 参考訳（メタデータ） (2025-06-12T14:53:36Z) - Learning 3D Persistent Embodied World Models [84.40585374179037]
我々は、以前に生成されたコンテンツの明示的なメモリを備えた、新しい永続的エンボディド・ワールドモデルを導入する。
映像拡散モデルでは, 映像拡散モデルにより, エージェントの今後の観察のRGB-D映像が予測される。
この生成は、環境の永続的な3Dマップに集約される。
論文 参考訳（メタデータ） (2025-05-05T17:59:17Z) - Visual Grounding of Learned Physical Models [66.04898704928517]
人間は、物体の物理的特性を直感的に認識し、複雑な相互作用に従事している場合でも、その動きを予測する。
我々は、物理を同時に推論し、視覚と力学の先行に基づく将来の予測を行うニューラルモデルを提案する。
実験により、我々のモデルはいくつかの観測範囲内で物理的特性を推測できることが示され、モデルが目に見えないシナリオに迅速に適応し、将来正確な予測を行うことができる。
論文 参考訳（メタデータ） (2020-04-28T17:06:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。