Fugu-MT 論文翻訳(概要): Embodied Multimodal Grounding for Open-Vocabulary Mobile Manipulation via Semantic 3D Gaussian Splatting

論文の概要: Embodied Multimodal Grounding for Open-Vocabulary Mobile Manipulation via Semantic 3D Gaussian Splatting

arxiv url: http://arxiv.org/abs/2608.10756v1
Date: Tue, 11 Aug 2026 10:16:30 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-12 19:14:46.003132
Title: Embodied Multimodal Grounding for Open-Vocabulary Mobile Manipulation via Semantic 3D Gaussian Splatting
Title（参考訳）: セマンティック3次元ガウススプレイティングによる開語彙移動操作のためのマルチモーダルグラウンド
Abstract要約: 身体的移動操作には、言語、視覚的観察、3次元のシーン構造、実行前にアライメントされる動作の実現性が必要である。本研究では,局所的な作業空間における少数ショット操作によるオープンボキャブラリターゲットグラウンドディングについて検討し,具体化されたマルチモーダルグラウンドディングフレームワークを提案する。タスク駆動のローカルセマンティック3DGSは、アクティブセンシング、言語条件の3Dローカライゼーション、障害物認識シーン推論、ベース準備、アクションモデルのセマンティックコンディショニングをまたいだ共有インターフェースとして機能する。
参考スコア（独自算出の注目度）: 4.473350810262674
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Embodied mobile manipulation requires language, visual observations, three-dimensional scene structure, and action feasibility to be aligned before execution. We study open-vocabulary target grounding with few-shot manipulation in local household workspaces and present an embodied multimodal grounding framework that integrates active multi-view Semantic 3D Gaussian Splatting (Semantic-3DGS), reachability-aware base positioning, and a diffusion-based vision-language-action policy. A task-driven local Semantic-3DGS serves as a shared interface across active sensing, language-conditioned 3D localization, obstacle-aware scene reasoning, base preparation, and semantic conditioning of the action model. To preserve pretrained action priors, the 3D semantic cues are injected only into the late action-expert blocks. In expanded 50-trial real-robot evaluations against representative vision-language-action (VLA) approaches, the full system achieves 60% long-horizon success compared with 40% for PointVLA and 28% for DexVLA, and reaches 74% success in heavily cluttered manipulation compared with 52% for the single-view variant and 46% for PointVLA. It also maintains 75% success under a 75 cm height shift and eliminates photo-induced false grasps. These results indicate that explicit, refreshable 3D semantic grounding can improve robustness under clutter, occlusion, viewpoint variation, and embodiment constraints.
Abstract（参考訳）: 身体的移動操作には、言語、視覚的観察、3次元のシーン構造、実行前にアライメントされる動作の実現性が必要である。本研究では,多視点セマンティック3次元ガウススプラッティング(Semantic-3DGS),リーチビリティを意識したベース位置決め,拡散型視覚言語対応ポリシを組み込んだマルチモーダルグラウンドディングフレームワークを提案する。タスク駆動のローカルセマンティック3DGSは、アクティブセンシング、言語条件の3Dローカライゼーション、障害物認識シーン推論、ベース準備、アクションモデルのセマンティックコンディショニングをまたいだ共有インターフェースとして機能する。事前訓練されたアクション先行を保存するために、3Dセマンティックキューは後期アクションエキスパートブロックにのみ注入される。 50-trial real-robot evaluations against representative vision- language-action (VLA) approach, the full system have 60% long-horizon success than PointVLA with 40% for PointVLA and 28% for DexVLA, and 74% to get up 74% in much uttered operation than 52% for single-view variant and 46% for PointVLA。また75cmの高さのシフトで75%の成功を維持し、写真によって引き起こされる偽のつかみを排除している。これらの結果から,明快でリフレッシュ可能な3次元セマンティックグラウンドは,粗い,隠蔽,視点変化,エンボディメント制約下での堅牢性を向上させることが示唆された。

関連論文リスト

VistaVLA: Geometry- and Semantic-Aware 3D Gaussian-Grounded VLA for Robotic Manipulation [7.753769810587787]
VLA(Vision-Language-Action)モデルは、言語命令と2次元視覚入力を直接アクションにマッピングすることで、ロボット操作のための強力なエンドツーエンドパラダイムとして登場した。これらのモデルには明確なシーンレベルの3D表現がなく、空間的レイアウトや幾何学的制約について推論する能力に制限がある。本稿では3次元ガウスプリミティブから幾何学的・意味論的3次元認知表現を構築する新しいフレームワークVistaVLAを提案する。
論文参考訳（メタデータ） (2026-07-14T05:08:50Z)
Direct Action-Head Injection of A Grounded 3D Point Unlocks Spatial and Task Generalization [6.3170928681089995]
Vision-Language-Action (VLA)モデルは、柔軟なロボット操作のために大規模な視覚言語事前訓練を利用する。それらは2つの軸に沿って不安定なままであり、空間的一般化、物体の位置が訓練中に見られるものと異なる場合、タスク一般化、慣れ親しんだシーンと異なる言語命令がペアリングされる場合である。本稿では、3次元のグラウンド信号を表す軽量なモデルに依存しないモジュールを提案し、グリップへの相対変位を計算し、その結果をアクションヘッドに直接注入する。
論文参考訳（メタデータ） (2026-06-26T02:44:27Z)
Sparse2Act: Learning Action-Aligned Sparse 3D Representations for Cross-Domain Robot Manipulation [52.00134393320209]
Sparse2Actは、スパースポイントクラウドエンコーダの事前学習のための観測・動作アライメントフレームワークである。マスク付きスパース3Dトークンは、観察と組み合わせたワークスペース運動の周囲のシーン特徴を整理するために訓練される。 LIBERO-10ベンチマークでは,500ステップの微調整を行い,平均86.9%の成功を達成した。
論文参考訳（メタデータ） (2026-06-10T23:56:01Z)
GEAR-VLA: Learning Geometry-Aware Action Representations for Generalizable Robotic Manipulation [49.16739604572808]
VLA(Vision-Language-Action)モデルは、強力なベンチマークパフォーマンスを実現するが、目に見えないオブジェクトによる現実世界のデプロイに苦労する。これは、統合幾何認識の操作表現が欠如していることに起因していると我々は主張する。一般化可能なロボット操作のための統合幾何認識行動表現を学習するためのVLAフレームワークであるGEAR-VLAを提案する。
論文参考訳（メタデータ） (2026-06-07T09:23:16Z)
PointACT: Vision-Language-Action Models with Multi-Scale Point-Action Interaction [57.63073414949329]
我々は,階層的な3Dポイントクラウド表現をアクションデコーディングプロセスに直接統合する,デュアルシステム3D対応VLAポリシーであるPointACTを提案する。 PointACTは、効率的なボトルネックウィンドウ自己アテンションを備えたマルチスケールのポイントアクションインタラクション機構を採用し、進化するアクショントークンが局所的な幾何学的詳細とグローバルなシーン構造の両方に密に関与できるようにする。
論文参考訳（メタデータ） (2026-05-20T17:10:31Z)
Universal Pose Pretraining for Generalizable Vision-Language-Action Policies [83.39008378156647]
既存のVision-Language-Action(VLA)モデルは、しばしば機能崩壊と訓練効率の低下に悩まされる。本稿では,VLAトレーニングを3次元空間前駆体抽出のための事前学習フェーズに分離する,分離されたパラダイムであるPose-VLAを提案する。我々のフレームワークは2段階の事前学習パイプラインに従い、ポーズと動きのアライメントによる基本的な空間接地を確立する。
論文参考訳（メタデータ） (2026-02-23T11:00:08Z)
ActiveVLA: Injecting Active Perception into Vision-Language-Action Models for Precise 3D Robotic Manipulation [52.94334113271359]
ActiveVLAは視覚言語によるアクションフレームワークで、ロボットに高い精度できめ細かな操作を可能にする。我々は,ActiveVLAが3つのシミュレーションベンチマークで高精度な3D操作を実現し,最先端のベースラインを上回っていることを示す。
論文参考訳（メタデータ） (2026-01-13T08:29:07Z)
DepthVLA: Enhancing Vision-Language-Action Models with Depth-Aware Spatial Reasoning [35.44151923549777]
VLA(Vision-Language-Action)モデルは最近、印象的な一般化と言語誘導操作機能を示している。視覚言語モデル(VLM)から受け継いだ空間的推論の制限による空間的推論の精度の低下本稿では,プレトレーニングした深度予測モジュールを通じて空間認識を明示的に組み込んだ,シンプルで効果的なVLAアーキテクチャであるDepthVLAを提案する。
論文参考訳（メタデータ） (2025-10-15T10:09:00Z)
ReasonGrounder: LVLM-Guided Hierarchical Feature Splatting for Open-Vocabulary 3D Visual Grounding and Reasoning [68.4209681278336]
Open-vocabulary 3D visual grounding and reasoningは、暗黙の言語記述に基づくシーン内のオブジェクトのローカライズを目的としている。現在の方法は、3Dアノテーションとマスクの提案による微調整に大きく依存しているため、苦労している。適応グルーピングのための階層型3次元特徴ガウス場を用いたLVLM誘導フレームワークであるReasonGrounderを提案する。
論文参考訳（メタデータ） (2025-03-30T03:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。