論文の概要: PhysBrain 1.5: From Vision-Language Models to Physical Foundation Models
- arxiv url: http://arxiv.org/abs/2609.14973v1
- Date: Mon, 14 Sep 2026 03:25:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.055921
- Title: PhysBrain 1.5: From Vision-Language Models to Physical Foundation Models
- Title（参考訳）: PhysBrain 1.5:視覚言語モデルから物理基礎モデルへ
- Abstract要約: PhysBrain 1.5は、物理的な環境を理解し、アクションを生成し、将来の状態を予測するための統一モデルである。
事前トレーニングは、人間のインタラクションビデオから完全に具体化された監督を引き出す。
一般的なマルチモーダル機能を維持しながら、14のベンチマークで最高のオープンソース結果を達成する。
- 参考スコア（独自算出の注目度）: 60.567497085815724
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present PhysBrain 1.5, a unified model for understanding physical environments, generating actions, and predicting future states. Motivated by the physical loop of observation, interaction, and environmental change, we bring these capabilities into a common learning framework. Starting from a general vision--language model, we encode language responses, end-effector motion, and dense visual targets as discrete sequences and jointly optimize them with autoregressive next-token prediction. Pre-training draws its embodied supervision entirely from human interaction videos, using task-centered episodes to pair semantic and spatial context with recovered motion and subsequent observations. We then adapt the model through supervised fine-tuning on a mixture of human demonstrations, robot trajectories, and simulated experience. Across 28 embodied understanding benchmarks, our 8B model achieves an average score of 72.5, setting a new open-source state of the art and performing on par with leading proprietary models such as GPT-6-Astra and Gemini 3.6 Flash. It achieves the best open-source results on 14 benchmarks while retaining general multimodal capabilities. Beyond these understanding evaluations, qualitative examples show the model's ability to produce end-effector trajectories and predict future scenes through spatially aligned RGB, depth, and robot-mask outputs.
- Abstract（参考訳）: 本稿では、物理環境を理解し、行動を生成し、将来の状態を予測するための統合モデルであるPhysBrain 1.5を提案する。
観察・相互作用・環境変化の物理的ループに動機づけられたこれらの能力を共通の学習フレームワークに持ち込みます。
一般的な視覚言語モデルから、言語応答、エンドエフェクタ運動、高密度視覚目標を離散的なシーケンスとしてエンコードし、自己回帰的次トーケン予測でそれらを共同で最適化する。
プレトレーニングは、タスク中心のエピソードを使用して、回復した動きとその後の観察とのセマンティクスと空間コンテキストをペアにすることで、人間のインタラクションビデオから完全に具体化された監督を引き出す。
次に、人間のデモ、ロボット軌道、シミュレーション体験の混合による教師付き微調整によりモデルを適応する。
GPT-6-AstraやGemini 3.6 Flashといった主要なプロプライエタリなモデルと同等のパフォーマンスを実現しています。
一般的なマルチモーダル機能を維持しながら、14のベンチマークで最高のオープンソース結果を達成する。
これらの理解評価の他に、定性的な例は、モデルがエンドエフェクタ・トラジェクタを作成し、空間的に整列されたRGB、深さ、ロボットマスク出力によって将来のシーンを予測する能力を示している。
関連論文リスト
- AFUN: Towards an Affordance Foundation Model for Functionality Understanding [12.890216832485647]
我々は,機能理解のための手頃な基礎モデルに向けたステップとして,我々のモデルを提示する。
我々は、異種ロボット、人間、シミュレーション、現実世界のスキャンデータを共有価格スキーマに変換する大規模な標準化データパイプラインを構築します。
私たちのモデルは、4つのベンチマークから8つのテストセットにまたがる大きなマージンで、すべてのベースラインを上回ります。
論文 参考訳（メタデータ） (2026-06-01T17:50:16Z) - GEM: Generative Supervision Helps Embodied Intelligence [60.28190143133428]
VLM(Embodied Vision-Language Models)は、ロボット工学における優れた性能と一般化を実証している。
標準的なテキスト誘導事前学習パラダイムの高レベルのセマンティックフォーカスと、エンボディ環境での実行に不可欠な低レベルの空間的および物理的知識との間には、大きなギャップが残っている。
我々は、この分割を橋渡しするために設計された、ジェネレーティブ制御されたエンボディード視覚言語モデルであるGEMを紹介する。
論文 参考訳（メタデータ） (2026-05-27T14:39:42Z) - Disentangled Robot Learning via Separate Forward and Inverse Dynamics Pretraining [28.30092786035367]
DeFIはビジュアルフォワードと逆ダイナミクスを分離し、各データソースを利用するための新しいフレームワークである。
今後の予測のために,多種多様な人・ロボットビデオで事前訓練された一般フォワード・ダイナミクス・モデル(GFDM)と,ラベルなしビデオ遷移から潜伏行動を予測するための自己教師付き学習によって訓練された一般逆ダイナミクス・モデル(GIDM)を紹介する。
CALVIN ABC-D と SimplerEnv の実験では、DeFI は CALVIN の平均タスク長 4.51 に達し、SimplerEnv-Frac は 51.2% 成功した。
論文 参考訳（メタデータ） (2026-03-27T17:20:10Z) - Learning Physics from Pretrained Video Models: A Multimodal Continuous and Sequential World Interaction Models for Robotic Manipulation [63.04810454548667]
我々は、ロボット操作タスクを解決するために、スケーラブルで連続的かつシーケンシャルな世界インタラクションフレームワークであるPhysGenを紹介した。
トレーニング済みのビデオモデルを物理シミュレーターのプロキシとして扱うことで、PhysGenは外部環境とロボット動作の間の動的相互作用をモデル化する。
本稿では,映像とアクションを共有物理トークンに統合し,離散映像生成と連続ロボット制御のギャップを埋めるマルチモーダル連続表現を提案する。
論文 参考訳（メタデータ） (2026-02-18T14:58:18Z) - InternVLA-A1: Unifying Understanding, Generation and Action for Robotic Manipulation [77.07565723756119]
InternVLA-A1は動的予測機能を備えた視覚言語モデルである。
我々は、実世界のロボットデータ、合成シミュレーションデータ、人間のビデオなどを用いて、これらのモデルを異種データソース上で事前訓練する。
InternVLA-A1を実世界の12のロボットタスクとシミュレーションベンチマークで評価した。
論文 参考訳（メタデータ） (2026-01-05T18:54:29Z) - MASS: Motion-Aware Spatial-Temporal Grounding for Physics Reasoning and Comprehension in Vision-Language Models [45.450035386882824]
視覚言語モデル(VLM)は、標準的なビデオタスクではうまく機能するが、運動力学や空間的相互作用を含む物理駆動推論に苦慮する。
本稿では,物理世界のコンテキストキューをVLMの知覚,理解,推論に合わせた解釈可能な表現に変換することによって,このギャップに対処するアプローチを提案する。
論文 参考訳（メタデータ） (2025-11-23T09:43:44Z) - Do Vision-Language Models Have Internal World Models? Towards an Atomic Evaluation [54.3628937181904]
内部世界モデル(英語版)(WM)は、エージェントが世界の状態を理解し、遷移を予測することを可能にする。
近年,OpenAI o3, GPT-4o, Geminiなどの大規模視覚言語モデル(VLM)は汎用的なWMとしての可能性を示している。
論文 参考訳（メタデータ） (2025-06-27T03:24:29Z) - Human locomotor control timescales depend on the environmental context and sensory input modality [37.48294298569551]
制御時間スケールを定量化する統合データ駆動フレームワークを提案する。
ウォーキングやランニングといったタスクにこのフレームワークを適用します。
本研究の枠組みは,ロポモタ・フット配置制御の時間尺度に影響を与える要因を明らかにする。
論文 参考訳（メタデータ） (2025-03-20T16:57:15Z) - λ: A Benchmark for Data-Efficiency in Long-Horizon Indoor Mobile Manipulation Robotics [11.901933884058021]
本稿では,LAMBDA ベンチマーク-Long-Horizon Actions for Mobile-Manipulation Benchmarking of Directed Activityを紹介する。
私たちのベンチマークには、シミュレーションと実世界の設定において、現実性と多様性を提供する、571人の人間によるデモが含まれています。
予備訓練を受けた場合でも,学習方法は成功率を低く抑えるが,ニューロシンボリックな手法では性能が著しく向上し,データ量も少なくなる。
論文 参考訳（メタデータ） (2024-11-28T19:31:50Z) - Masked World Models for Visual Control [90.13638482124567]
視覚表現学習と動的学習を分離する視覚モデルに基づくRLフレームワークを提案する。
提案手法は,様々な視覚ロボット作業における最先端性能を実現する。
論文 参考訳（メタデータ） (2022-06-28T18:42:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。