Fugu-MT 論文翻訳(概要): Multi-View Unified Camera Fields: Geometry-Shaped Action-Facing Representations for RGB-Only Multi-Camera VLA Policies

論文の概要: Multi-View Unified Camera Fields: Geometry-Shaped Action-Facing Representations for RGB-Only Multi-Camera VLA Policies

arxiv url: http://arxiv.org/abs/2608.01826v1
Date: Mon, 03 Aug 2026 07:36:09 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-04 15:07:25.38363
Title: Multi-View Unified Camera Fields: Geometry-Shaped Action-Facing Representations for RGB-Only Multi-Camera VLA Policies
Title（参考訳）: マルチビュー統合カメラフィールド:RGB専用マルチカメラVLA政策のための幾何学的形状のアクションフェース表現
Abstract要約: Multi-View Unified Camera Fields (MVUCF) は、ビューをまたいだ共有アクション対応潜在フィールドを形成するトレーニング専用フレームワークである。ジオメトリインジェクション、奥行き、カメラキャリブレーション、補助ヘッドが取り除かれた後、配置は、追加の推論FLOPを持たない元のRGBのみのグラフを使用する。
参考スコア（独自算出の注目度）: 12.27577524307746
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Vision-Language-Action (VLA) models have shown strong generalization in robotic manipulation, yet complex contact-rich tasks often benefit from multi-camera observations that jointly capture the end effector, objects, and targets under occlusion. Existing multi-camera VLAs usually concatenate view tokens, leaving action representations weak in metric depth and inconsistent across cameras. We introduce Multi-View Unified Camera Fields (MVUCF), a training-only framework that forms a shared action-facing latent field across views. A coordinate-query depth objective makes metric depth recoverable, while a preprocessing-aware correspondence objective aligns tokens observing the same physical point from different cameras. Both directly shape the hidden states consumed by the action module. After geometry injection, depth, camera calibration, and auxiliary heads are removed, so deployment uses the original RGB-only graph with no extra inference FLOPs. Held-out probes confirm stronger depth recovery and cross-view matching. Under matched GR00T-N1.6 settings, MVUCF reaches 98.9% on LIBERO, improves LIBERO-Plus by 22.4 points, and raises success by 23.3 points across six RoboTwin tasks spanning three action families: touch, move-and-place, and contact interaction. Real-world humanoid experiments further provide evidence of its practical effectiveness under RGB-only deployment.
Abstract（参考訳）: VLA(Vision-Language-Action)モデルでは、ロボット操作において強力な一般化が示されているが、複雑なコンタクトリッチなタスクは、エンドエフェクタ、オブジェクト、ターゲットを閉塞下で共同でキャプチャするマルチカメラの観察の恩恵を受けることが多い。既存のマルチカメラVLAは通常、ビュートークンを連結し、アクション表現はメートル法的な深さで弱く、カメラ間で矛盾する。マルチビュー統合カメラフィールド(MVUCF)は、ビューをまたいだ共有アクション対応潜在フィールドを形成するトレーニング専用フレームワークである。座標待ち深度目的はメートル法深度を回復可能とし、前処理対応目的は異なるカメラから同じ物理点を観測するトークンを整列させる。どちらもアクションモジュールが消費する隠された状態を直接形成する。ジオメトリインジェクション、奥行き、カメラキャリブレーション、補助ヘッドが取り除かれた後、配置は、追加の推論FLOPを持たない元のRGBのみのグラフを使用する。ヒードアウトプローブは、より強い深度回復とクロスビューマッチングを確認できる。一致したGR00T-N1.6設定では、MVUCFはLIBEROで98.9%に達し、LIBERO-Plusを22.4ポイント改善し、タッチ、移動、接触操作の3つのアクションファミリーにまたがる6つのRoboTwinタスクで23.3ポイント成功している。実世界のヒューマノイド実験は、RGBのみの展開下での実用的効果の証拠をさらに与えている。

関連論文リスト

Spatially Conditioned Diffusion Policy: Learning Precise and Robust Manipulation with a Single RGB Camera [6.648702147742411]
空間条件拡散政策(Spatially Conditioned Diffusion Policy, SCDP)は、単一カメラ環境における精密かつ堅牢な操作を実現する拡散型ビズモータ政策である。 SCDPは2つの重要なコンポーネントから構成される: (i) 広義のコンテキストときめ細かな視覚特徴の両方を捉えるマルチスケールの特徴マップを生成するビジュアルエンコーダ、 (ii) 拡散ループの中間端エフェクタ軌道に沿って点方向の特徴をサンプリングする空間条件モジュール。
論文参考訳（メタデータ） (2026-06-12T15:12:03Z)
Object Pose Transformer: Unifying Unseen Object Pose Estimation [54.20344997573707]
モデルなしのオブジェクトポーズ推定を未知のインスタンスで学習することは、3Dビジョンにおける根本的な課題である。我々のチームは、RGB入力から深度、ポイントマップ、カメラパラメータ、正規化されたオブジェクト座標を共同で予測します。当社はカメラ非依存で、カメラ固有の知識をオンザフライで学習し、メトリックスケールリカバリのためのオプションの深度入力をサポートします。
論文参考訳（メタデータ） (2026-03-24T16:04:16Z)
Pixel2Catch: Multi-Agent Sim-to-Real Transfer for Agile Manipulation with a Single RGB Camera [3.219880761967806]
本研究は、単一のRGB画像から抽出した画素レベルの視覚情報を用いて物体の動きを認識する新しいアプローチに焦点を当てる。多指ハンドを備えたロボットアームによる高DoFシステムにおいて安定した学習を実現するため、異種多エージェント強化学習フレームワークを設計する。各エージェントは、ロール固有の観察と報酬を使用して協調的に訓練され、学習されたポリシーはシミュレーションから実世界に移される。
論文参考訳（メタデータ） (2026-02-26T08:15:38Z)
DVPE: Divided View Position Embedding for Multi-View 3D Object Detection [7.791229698270439]
現在の研究は、受容場間のバランスと、多視点の特徴を集約する際の干渉を減らすことの課題に直面している。本稿では,視覚的クロスアテンション機構を通じて特徴を世界規模でモデル化する分割ビュー手法を提案する。我々のフレームワークはDVPEと呼ばれ、nuScenesテストセット上で最先端のパフォーマンス(57.2% mAPと64.5% NDS)を達成する。
論文参考訳（メタデータ） (2024-07-24T02:44:41Z)
DVANet: Disentangling View and Action Features for Multi-View Action Recognition [56.283944756315066]
本稿では,学習した行動表現を映像中の視覚関連情報から切り離すための多視点行動認識手法を提案する。本モデルとトレーニング方法は,4つの多視点行動認識データセットにおいて,他のユニモーダルモデルよりも有意に優れている。
論文参考訳（メタデータ） (2023-12-10T01:19:48Z)
Geometric-aware Pretraining for Vision-centric 3D Object Detection [77.7979088689944]
GAPretrainと呼ばれる新しい幾何学的事前学習フレームワークを提案する。 GAPretrainは、複数の最先端検出器に柔軟に適用可能なプラグアンドプレイソリューションとして機能する。 BEVFormer法を用いて, nuScenes val の 46.2 mAP と 55.5 NDS を実現し, それぞれ 2.7 と 2.1 点を得た。
論文参考訳（メタデータ） (2023-04-06T14:33:05Z)
Coordinate-Aligned Multi-Camera Collaboration for Active Multi-Object Tracking [114.16306938870055]
AMOTのための座標整列型マルチカメラ協調システムを提案する。提案手法では,各カメラをエージェントとみなし,マルチエージェント強化学習ソリューションを用いてAMOTに対処する。本システムでは,ベースライン法を8.9%上回る71.88%のカバレッジを実現している。
論文参考訳（メタデータ） (2022-02-22T13:28:40Z)
RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video [76.86512780916827]
本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。 RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。 RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
論文参考訳（メタデータ） (2021-06-22T12:53:56Z)
Self-supervised Human Detection and Segmentation via Multi-view Consensus [116.92405645348185]
本稿では,トレーニング中に幾何学的制約を多視点一貫性という形で組み込むマルチカメラフレームワークを提案する。本手法は,標準ベンチマークから視覚的に外れた画像に対して,最先端の自己監視的人物検出とセグメンテーション技術に勝ることを示す。
論文参考訳（メタデータ） (2020-12-09T15:47:21Z)
MoreFusion: Multi-object Reasoning for 6D Pose Estimation from Volumetric Fusion [19.034317851914725]
本稿では,複数の既知の物体の接触と隠蔽の正確なポーズを,リアルタイムな多視点視から推定するシステムを提案する。提案手法は,1枚のRGB-Dビューからの3Dオブジェクトのポーズ提案を行い,カメラが移動すると,複数のビューからのポーズ推定と非パラメトリック占有情報を蓄積する。提案手法の精度とロバスト性を2つのオブジェクトデータセット(YCB-Video)で実験的に検証する。
論文参考訳（メタデータ） (2020-04-09T02:29:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。