論文の概要: Physical Words: A Vocabulary for Structuring Latent Reasoning in Robot Manipulation
- arxiv url: http://arxiv.org/abs/2610.26854v2
- Date: Tue, 20 Oct 2026 17:53:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.373281
- Title: Physical Words: A Vocabulary for Structuring Latent Reasoning in Robot Manipulation
- Title(参考訳): 物理語:ロボット操作における潜時推論の語彙
- Abstract要約: 本稿では,PhysWordを紹介した。PhysWordは,PhysWords上に構築された基礎モデルである。
具体的には、PhysWordは今後のアトミックアクションワードを予測し、コンテキストに隠された状態と遅延ターゲットを整列する。
PhysWordは、Visuotactile UniVTACで90.3%、ビジョンベースのLIBERO-Longで99.6%という最先端の成功率を達成した。
- 参考スコア(独自算出の注目度): 38.28255558212147
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal reasoning provides robotic foundation models with predictive context needed for reliable action generation. However, language-based reasoning captures task semantics but struggles to express fine-grained physical dynamics, while latent reasoning models future state evolution but offers limited structure for organizing these dynamics into reusable reasoning primitives. To bridge this gap, we introduce PhysWord, a reasoning-before-acting foundation model built on Physical Words, which use atomic action verbs as shared semantic anchors for continuous representations of physical dynamics. Specifically, PhysWord predicts upcoming atomic action words and directly aligns their contextual hidden states with latent targets derived from the corresponding future observations. Building on these primitives, we construct a temporally structured PhysWord space with visual and optional tactile variants of each action word. Autoregressively predicting Physical Words across future timesteps captures transitions between execution stages, providing structured multimodal context for action generation. PhysWord achieves state-of-the-art success rates of 90.3\% on visuotactile UniVTAC and 99.6\% on vision-based LIBERO-Long, and outperforms competing methods on real-world tasks using bimanual grippers and dexterous hands. Further evaluations demonstrate that our structured latent reasoning framework generalizes to unseen scenarios and enables long-horizon manipulation.
- Abstract(参考訳): マルチモーダル推論は、信頼性のあるアクション生成に必要な予測コンテキストを備えたロボット基盤モデルを提供する。
しかし、言語ベースの推論はタスクのセマンティクスを捉えるが、細かな物理力学を表現するのに苦労する一方で、潜在推論は将来の状態の進化をモデル化するが、これらの力学を再利用可能な推論プリミティブに整理するための限られた構造を提供する。
このギャップを埋めるために、PhysWordを紹介します。PhysWordは、物理力学の連続表現のための共有セマンティックアンカーとしてアトミックアクション動詞を使用する物理ワード上に構築された推論前動作基盤モデルです。
具体的には、PhysWordは今後のアトミックアクションワードを予測し、それらのコンテキスト隠れ状態と、対応する将来の観測から導かれる潜在目標を直接整列する。
これらのプリミティブに基づいて、各アクションワードの視覚的および任意の触覚的バリエーションを備えた、時間的に構造化されたPhysWord空間を構築する。
将来のタイムステップにおける物理語の自動回帰予測は、実行ステージ間の遷移をキャプチャし、アクション生成のための構造化されたマルチモーダルコンテキストを提供する。
PhysWord は Visuotactile UniVTAC で 90.3\% 、ビジョンベースの LIBERO-Long で 99.6\% の最先端の成功率を実現し、実世界のタスクにおいてバイマニュアルグリッパーとデキスタスハンドで競合する手法を上回っている。
さらに, 構造化された潜在推論フレームワークが, 未知のシナリオに一般化し, 長期的操作を可能にすることを示す。
関連論文リスト
- Physis-Lang: Self-Evolving Language as a Physical Representation for Video World Model [65.89360908199338]
物理言語をデータキュレーション、モデルトレーニング、ビデオ生成にまたがる共有かつ最適化可能な表現として扱うフレームワークであるPhys-Langを紹介する。
Physis-Langは物理プロセスをアトミックなアサーションに分解し、リコールと精度を使ってキャプションを評価する。
WanとCosmosのバックボーンで広く使われている4つの物理ビデオベンチマークの実験は、物理的妥当性が一貫した改善を示している。
論文 参考訳(メタデータ) (2026-09-30T17:59:51Z) - OmniFysics-Nano-V2 Technical Report: Understanding the Physical World Across Modalities [49.855412713247524]
OmniFysics-Nano-V2は、物理世界の知覚と理解のためのコンパクトなオムニモーダルモデルである。
このモデルは、共有推論フレームワーク内で、画像、ビデオ、オーディオ、音声、テキスト入力をサポートする。
実験により、提案したデータとトレーニング戦略は、広義のオムニ・モーダル能力を維持しながら、物理世界の理解を改善することが示された。
論文 参考訳(メタデータ) (2026-09-22T06:18:20Z) - MIND: Multi-Scale Intent Diffusion for Text-Driven Physics-Based Humanoid Control [28.483898151756733]
この知見に基づいて、テキスト駆動物理に基づくヒューマノイド制御のための新しいエンドツーエンド拡散フレームワークであるMINDを提案する。
MINDはマルチスケールなインテント拡散機構を導入し、全体論的インテント予測器がグローバルな振る舞いのダイナミクスをキャプチャする。
MINDはテキストコマンドからコヒーレントで、物理的に妥当で、意味的に整合したヒューマノイドの振る舞いを合成する。
論文 参考訳(メタデータ) (2026-05-25T16:23:10Z) - Scale-Dependent Semantic Dynamics Revealed by Allan Deviation [0.0]
順序文埋め込みを変位信号として扱うことで意味の安定性を解析する。
大規模言語モデルは人間のテキストの局所的なスケーリング統計を模倣することに成功したが、安定性の地平線は体系的に低下していることがわかった。
論文 参考訳(メタデータ) (2026-01-29T13:10:59Z) - Executable Analytic Concepts as the Missing Link Between VLM Insight and Precise Manipulation [70.8381970762877]
VLM(Vision-Language Models)は、セマンティック推論とタスク計画において顕著な能力を示す。
本稿では,VLMに基づく推論を実行可能な解析概念を通じて基礎づける新しいフレームワークであるGRACEを紹介する。
G GRACEは高レベル命令理解と低レベルロボット制御の統一的で解釈可能なインターフェースを提供する。
論文 参考訳(メタデータ) (2025-10-09T09:08:33Z) - ContPhy: Continuum Physical Concept Learning and Reasoning from Videos [86.63174804149216]
ContPhyは、マシン物理常識を評価するための新しいベンチマークである。
私たちは、さまざまなAIモデルを評価し、ContPhyで満足なパフォーマンスを達成するのに依然として苦労していることがわかった。
また、近年の大規模言語モデルとパーティクルベースの物理力学モデルを組み合わせるためのオラクルモデル(ContPRO)を導入する。
論文 参考訳(メタデータ) (2024-02-09T01:09:21Z) - Dynamic Contextualized Word Embeddings [20.81930455526026]
言語的文脈と外言語的文脈の両方の関数として単語を表す動的文脈化単語埋め込みを導入する。
事前訓練された言語モデル(PLM)に基づいて、動的文脈化された単語埋め込みは、時間と社会空間を協調的にモデル化する。
4つの英語データセットの質的および定量的分析により,潜在的な応用シナリオを強調した。
論文 参考訳(メタデータ) (2020-10-23T22:02:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。