論文の概要: ME-VLM: A Unified VLM for Embodied Cognition and Agent Coordination
- arxiv url: http://arxiv.org/abs/2609.24526v2
- Date: Tue, 22 Sep 2026 06:57:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:03.998001
- Title: ME-VLM: A Unified VLM for Embodied Cognition and Agent Coordination
- Title（参考訳）: ME-VLM: 身体的認知とエージェント協調のための統一VLM
- Abstract要約: MachEm-VLM (ME-VLM) は4Bと35B-A3Bの2種類のモデルである。
具体的タスクとマルチモーダルエージェントタスクにまたがるトレーニングデータを構築する。
実験では、エンボディとエージェントのベンチマークの両方で競合性能を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Physical AI requires models to ground visual and linguistic understanding in real-world environments while accounting for environmental constraints and execution feedback. We introduce MachEmbodied-VLM (ME-VLM), a unified vision-language model with two variants, 4B and 35B-A3B, that brings together embodied cognition and multimodal agent capabilities. Our work emphasizes physical perception and spatiotemporal reasoning, together with planning, interaction, and outcome assessment in both digital and physical environments. We construct training data spanning embodied and multimodal agent tasks, including execution observations and feedback to support outcome assessment and decision refinement. The training pipeline comprises embodied capability injection, separate reinforcement learning of embodied and multimodal-agent experts, and multi-teacher on-policy distillation that consolidates their complementary capabilities into a single model. Experiments show competitive performance on both embodied and agent benchmarks, as well as on autonomous-driving and embodied-navigation tasks. For edge deployment, visual token compression, W4A8 quantization, and hardware-software co-optimization enable on-device inference of the 4B variant on the M100, reducing prefill latency from 400 ms to 188 ms. Project Page: https://machembodied.com/ME-Brain/ME-VLM.html Code Repository: https://github.com/MachEmbodied/ME-VLM
- Abstract（参考訳）: 物理AIは、環境制約と実行フィードバックを考慮しつつ、現実の環境における視覚的および言語的理解を基盤とするモデルを必要とする。
我々は、4Bと35B-A3Bの2つの変種を持つ統合視覚言語モデルであるMachEmbodied-VLM(ME-VLM)を紹介し、その組込み認識とマルチモーダルエージェント機能を実現する。
我々の研究は、デジタル環境と物理的環境の両方における計画、相互作用、結果評価とともに、物理的知覚と時空間的推論を強調している。
我々は,実施観察やフィードバックなど,具体的・マルチモーダルなエージェントタスクにまたがるトレーニングデータを構築し,結果の評価と意思決定の洗練を支援する。
本発明の訓練パイプラインは、実施能力注入、エンボディドおよびマルチモーダルエージェント専門家の別個の強化学習、および補完能力を単一のモデルに集約するマルチティーラーオンライン蒸留を含む。
実験は、実施されたベンチマークとエージェントベンチマークの両方で、また、自動運転および実施されたナビゲーションタスクで競合性能を示す。
エッジデプロイメント、ビジュアルトークン圧縮、W4A8量子化、ハードウェアとソフトウェアの共最適化により、M100上の4B変種をオンデバイスで推論することができ、プリフィル遅延を400msから188msに削減できる。プロジェクトページ:https://machembodied.com/ME-Brain/ME-VLM.html Code Repository: https://github.com/MachEmbodied/ME-VLM
関連論文リスト
- FluxVLA Engine: A One-Stop VLA Engineering Platform for Embodied Intelligence [21.911710953682256]
$mathrmFluxVLA$はオープンで構成駆動のプラットフォームで、不均一なエンボディされたコンポーネントをデータからデプロイのワークフローに変換する。
$mathrmFluxVLA$は、データセット、ビジュアル言語および世界モデル、アクションヘッド、報酬または有利な学習、分散トレーニング、シミュレーション評価、最適化推論、ロボットオペレータのインターフェースを標準化する。
論文 参考訳（メタデータ） (2026-09-15T13:59:09Z) - OneDrive: Unified Multi-Paradigm Driving with Vision-Language-Action Models [69.2503510410147]
予め訓練されたVLM上に構築した統合自動運転フレームワークを提案する。
トレーニング済みのVLMアテンションは、純粋言語モデリング以上の強い伝達性を示すことを示す。
エンドツーエンドの自動運転ベンチマークの実験は、最先端のパフォーマンスを示している。
論文 参考訳（メタデータ） (2026-04-20T07:50:00Z) - SpaceMind: A Modular and Self-Evolving Embodied Vision-Language Agent Framework for Autonomous On-orbit Servicing [1.614712872796152]
SpaceMindは、知識、ツール、推論を3次元に分解する自己進化型視覚言語モデルである。
われわれはSpaceMindを、5つの衛星、3つのタスクタイプ、2つの環境にまたがる192のクローズドループで検証する。
自己進化研究は、エージェントが失敗したエピソードから6つのグループのうち4つの失敗から回復することを示している。
論文 参考訳（メタデータ） (2026-04-15T20:27:57Z) - InternVL-U: Democratizing Unified Multimodal Models for Understanding, Reasoning, Generation and Editing [87.5130783098133]
InternVL-Uは、マルチモーダル理解と推論機能を民主化する軽量な4BパラメータUMMである。
MLLM(Multimodal Large Language Model)と特殊なMMDiTベースのビジュアルジェネレーションヘッドを統合している。
BAGEL (14B) など,さまざまな生成タスクや編集タスクにおいて,3倍以上のスケールで統一ベースラインモデルを上回るパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-03-10T16:38:33Z) - MORAL: A Multimodal Reinforcement Learning Framework for Decision Making in Autonomous Laboratories [4.503215272392276]
自律的な研究室における意思決定のためのマルチモーダル強化学習フレームワークMORALを提案する。
我々は、事前訓練されたBLIP-2視覚言語モデルで微調整された画像キャプションを生成し、早期融合戦略により視覚特徴と組み合わせる。
実験の結果,マルチモーダルエージェントはタスク完了率を20%向上することがわかった。
論文 参考訳（メタデータ） (2025-04-04T04:15:52Z) - MoRE: Unlocking Scalability in Reinforcement Learning for Quadruped Vision-Language-Action Models [34.138699712315]
本稿では、四足歩行ロボットのためのロボット専門家(MoRE)の混合であるビジョンアクション(VLA)モデルを提案する。
MoREは、複数の低ランク適応モジュールを、密集したマルチモーダルな大規模言語モデルの中で異なる専門家として統合する。
実験によると、MoREは6つの異なるスキルで全てのベースラインを上回り、アウト・オブ・ディストリビューションシナリオにおいて優れた一般化能力を示す。
論文 参考訳（メタデータ） (2025-03-11T03:13:45Z) - VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks [60.5257456681402]
幅広い下流タスクを扱える普遍的な埋め込みを構築する可能性について検討する。
We build a series of VLM2Vec model on SoTA VLMs like Phi-3.5-V, LLaVA-1.6 and evaluate them on MMEB's evaluation split。
以上の結果から,VLM2Vecは既存のマルチモーダル埋め込みモデルよりも10%から20%の絶対的な平均的改善を実現していることがわかった。
論文 参考訳（メタデータ） (2024-10-07T16:14:05Z) - Efficient Adaptive Human-Object Interaction Detection with
Concept-guided Memory [64.11870454160614]
概念誘導メモリ(ADA-CM)を用いた適応型HOI検出器を提案する。
ADA-CMには2つの操作モードがある。最初のモードでは、トレーニング不要のパラダイムで新しいパラメータを学習することなくチューニングできる。
提案手法は, HICO-DET と V-COCO のデータセットに対して, より少ないトレーニング時間で, 最新技術による競合的な結果を得る。
論文 参考訳（メタデータ） (2023-09-07T13:10:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。