論文の概要: Vision-Language-Motion Maps: An Open-Vocabulary, Uncertainty-Aware, Queryable Motion Attribute for 3D Scene Maps

• arxiv url: http://arxiv.org/abs/2607.16173v1
• Date: Fri, 17 Jul 2026 17:53:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.920973
• Title: Vision-Language-Motion Maps: An Open-Vocabulary, Uncertainty-Aware, Queryable Motion Attribute for 3D Scene Maps
• Title（参考訳）: Vision-Language-Motion Maps:3Dシーンマップのためのオープン語彙、不確かさ、クエリー可能なモーション属性
• Abstract要約: オープン・ボキャブラリの3Dマップは、ロボットがどの場所に関する言語クエリに答えることができるが、静的な世界を前提としており、シーン要素の振る舞いに関するクエリには答えられない。 VLMM(Vision-Language-Motion Map)は,各要素が融合した動き特性を持つ,オープン語彙で自然言語でクエリ可能な3Dマップである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-vocabulary 3D maps let robots answer language queries about what and where, but they assume a static world and cannot answer queries about how scene elements behave. We introduce Vision-Language-Motion Maps (VLMM), an open-vocabulary, natural-language-queryable 3D map in which each element carries a fused motion attribute: a VLM/LLM semantic movability prior combined with geometrically observed cross-frame motion, together with a per-element uncertainty. Queries reduce to attribute filters that distinguish what has been seen to move, what could move but has not, and what stays still. On a controlled simulator benchmark with exact ground truth (AI2-THOR, three scene types) we show through ablation that the schema fields are non-substitutable: a semantic-only baseline fails motion queries even with strong features, and neither motion field substitutes for the other (the prior cannot answer "what is moving," observed motion cannot answer "what could move"). On real dynamic RGB-D (TUM and Bonn, six sequences) we show the uncertainty channel-our key difference from prior fused-motion work-consistently improves moving-vs-static average precision and reduces false motion flags, and is robust to estimated (noisy) poses. The raw confidence is not calibrated, but post-hoc isotonic calibration reaches an expected calibration error of 0.10. VLMM is a representation contribution: the closest prior maps each lack at least one of the four properties-open-vocabulary, language-queryable, fused prior-and-observed motion, and per-element uncertainty-that our combination provides.
• Abstract（参考訳）: オープン・ボキャブラリの3Dマップは、ロボットがどの場所や場所に関する言語クエリに答えることができるが、静的な世界を前提としており、シーン要素の振る舞いに関するクエリには答えられない。 VLM/LLMセマンティック・ムーブビリティと幾何学的に観察されたクロスフレーム・モーションと、各要素が融合した動き特性を持つオープンボキャブラリで自然言語でクエリ可能な3DマップであるVision-Language-Motion Maps(VLMM)を導入する。 クエリは、何が動くのか、何が動かないのか、何が残っているのかを区別する属性フィルタに還元される。 厳密な地上事実(AI2-THOR, 3つのシーンタイプ)を持つ制御されたシミュレータでは、スキーマフィールドが非置換可能であることを示す。 実動的RGB-D(TUMとBonnの6つのシーケンス)では、前動作業との不確実なチャネルとキーの相違が相反して移動vs静電平均精度を向上し、偽の動作フラグを低減し、推定(ノイズ)ポーズに頑健であることを示す。 生の信頼性はキャリブレーションされないが、ホック後のイソトニックキャリブレーションは0.10のキャリブレーション誤差に達する。 VLMMは表現的寄与であり、最も近い先行写像は、4つの特性-開語彙、言語クエリー可能、融合された事前観測運動、要素ごとの不確実性-のうちの少なくとも1つを欠いている。

関連論文リスト

• TEMPO: Learning Temporal Context for Dynamic Robot Manipulation [12.057683796484232]
  本稿では、事前訓練されたVLAを2つの時間入力で拡張し、動きのあいまいさと状態のエイリアスを解消するTEMPOを提案する。 ボトルハンドオーバの成功を44%から74%に改善し、状態エイリアスを解決する唯一の方法である。 さらに、動作認識ロボットの知覚を評価するために、50k以上の注釈付きフレームのベンチマークであるTEMPO-Benchをリリースする。
  論文  参考訳（メタデータ） (2026-09-15T08:56:52Z)
• Ego-Human Motion Prediction with 3D-Aware LLM [51.5064259568401]
  Ego3DLMは、人間の動きを自我中心の視点から予測するツールである。 過去のポーズ、未来のポーズ、過去のナレーション、将来のナレーションを1つの自己回帰パスでデコードする。 Ego3DLMは、将来の動き予測、過去の動きの追跡、動作記述にまたがる最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-07-08T04:51:24Z)
• Can Machines Really See Objects in Images? A Study Based on Syntactic Distance and Visual Self-Referential Instances [53.65561607407989]
  そのような局所的な手がかりが区別の安定な基盤を提供しない場合、モデルが依然として正しく分類できるかどうかを問う。 ResNetとVision Transformersの実験では、一貫した位相遷移現象が明らかになった。 結果は、汎用インテリジェンスは、既存の言語を再利用するのではなく、新しい言語を作成する必要があることを示唆している。
  論文  参考訳（メタデータ） (2026-06-28T14:27:40Z)
• Language as a Sensor: Calibrated Spatial Belief Estimation in 3D Scenes from Natural Language [15.05613635418399]
  伝統的なメートル法-セマンティックマッピングは、世界の一部の言語記述を知覚的な視野を超えて無視する。 言語センサモデル(LSM)を訓練し、各発話とそのシーングラフコンテキストをマルチモーダル分布にマッピングする。 次に,VL-Map (Vision-Language Metric-Semantic Mapping) を紹介した。
  論文  参考訳（メタデータ） (2026-06-07T15:17:25Z)
• Interpretable Motion-Attentive Maps: Spatio-Temporally Localizing Concepts in Video Diffusion Transformers [12.481704446483176]
  動画拡散変換器(DiT)は、動きを含むテキスト記述から高い忠実度で高品質な映像を合成している。 本稿では,ある運動概念に対して,対象物がいつ,いつ動くかを規定する具体的な運動特徴について検討する。 動作を空間的かつ時間的に局所化する解釈可能な動き検出マップ(IMAP)を得るための動き特徴選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-03T12:20:42Z)
• Articulated 3D Scene Graphs for Open-World Mobile Manipulation [55.97942733699124]
  本報告では, セマンティックな3次元シーングラフを構築するためのフレームワークであるMoMa-SGについて述べる。 新たな統合的ツイスト推定法を用いて調音モデルを推定する。 また,Arti4D-Semanticデータセットについても紹介する。
  論文  参考訳（メタデータ） (2026-02-18T10:40:35Z)
• Think Before You Move: Latent Motion Reasoning for Text-to-Motion Generation [37.496002022338395]
  この解決策は、遅延システム2推論へのアーキテクチャシフトにある、と我々は主張する。 本稿では,2段階のThink-then-Act決定プロセスとして生成を再構成する潜在動作推論(LMR)を提案する。 T2M-GPT(discrete)とMotionStreamer(continuous)の2つの代表的なベースラインに対して実装することで、LMRの汎用性を実証する。
  論文  参考訳（メタデータ） (2025-12-30T09:17:44Z)
• GLDiTalker: Speech-Driven 3D Facial Animation with Graph Latent Diffusion Transformer [26.567649613966974]
  Graph Latent Transformerに基づく音声駆動型3次元顔アニメーションモデル GLDiTalkerは、量子化された時間潜在空間内の信号を拡散することで、不一致を解消する。 Graph-Enhanced Space Quantized Learning Stageはリップ同期の精度を保証し、Space-Time Powered Latent Diffusion Stageは動きの多様性を高める。
  論文  参考訳（メタデータ） (2024-08-03T17:18:26Z)
• Bridging the Gap between Human Motion and Action Semantics via Kinematic Phrases [59.32509533292653]
  動作理解は、動作意味論と行動意味論の信頼性の高いマッピングを確立することを目的としている。 本研究では,人間の動作の客観的な運動事実を適切な抽象化,解釈可能性,一般性で捉えたキネマティック・フェース(KP)を提案する。 KPに基づいて、動作知識ベースを統一し、動作理解システムを構築することができる。
  論文  参考訳（メタデータ） (2023-10-06T12:08:15Z)
• Unsupervised Multi-object Segmentation by Predicting Probable Motion Patterns [92.80981308407098]
  手動による監督なしに複数の画像オブジェクトを分割する手法を提案する。 この方法は静止画像からオブジェクトを抽出するが、監視のためにビデオを使用する。 シミュレーションおよび実世界のベンチマークで、最先端の教師なしオブジェクトセグメンテーション性能を示す。
  論文  参考訳（メタデータ） (2022-10-21T17:57:05Z)
• Receding Moving Object Segmentation in 3D LiDAR Data Using Sparse 4D Convolutions [33.538055872850514]
  歩行歩行者や自動車などの現在移動している物体に属する3D LiDAR点と、壁や駐車中の車など移動しない物体から得られる点とを区別する問題に対処する。 我々の手法は観測されたLiDARスキャンを連続して4D点雲に変換する。 計算効率の良いスパース4D畳み込みを適用し,空間的特徴と時間的特徴を共同抽出し,各点の移動物体の信頼度を推定する。
  論文  参考訳（メタデータ） (2022-06-08T18:51:14Z)
• Exploring Optical-Flow-Guided Motion and Detection-Based Appearance for Temporal Sentence Grounding [61.57847727651068]
  テンポラルな文グラウンドディングは、与えられた文クエリに従って、意図しないビデオのターゲットセグメントをセマンティックにローカライズすることを目的としている。 これまでのほとんどの研究は、ビデオ全体のフレーム全体のフレームレベルの特徴を学習することに集中しており、それらをテキスト情報と直接一致させる。 我々は,光フロー誘導型モーションアウェア,検出ベース外観アウェア,3D認識オブジェクトレベル機能を備えた,動き誘導型3Dセマンティック推論ネットワーク(MA3SRN)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T13:57:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。