論文の概要: Selective Cross-View Consistency for World Action Models: Held-Out Viewpoint Robustness Without Test-Time Camera Information
- arxiv url: http://arxiv.org/abs/2608.21402v1
- Date: Fri, 07 Aug 2026 12:03:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 05:49:59.231774
- Title: Selective Cross-View Consistency for World Action Models: Held-Out Viewpoint Robustness Without Test-Time Camera Information
- Title(参考訳): 世界行動モデルのための選択的クロスビュー整合性:テストタイムカメラ情報のないハードアウト視点ロバストネス
- Abstract要約: 世界アクションモデル(WAM)は、将来のビデオフレームとロボットアクションを共同で認知し、その制御を一般化することが期待されている。
同状態のクロスビュー画像ペアでトレーニングする場合、どの出力座標に一貫性損失を課すべきか?
共変ブロックに適用される整合性は有意な有害性を示し、正規のビュー特化コンテンツをその真値の1/(1+4)$に縮め、制御実験においてこの縮退則を検証する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: World action models (WAMs) jointly denoise future video frames and robot actions, and the video prior is expected to generalize their control. Camera viewpoint change remains one of their hardest perturbation axes. We study a question specific to this model class: when training with same-state cross-view image pairs, on which output coordinates should a consistency loss be imposed? The WAM denoising target mixes view-covariant coordinates, namely the predicted future scene, with view-invariant coordinates, namely the action chunk, future proprioception, and value. We show that consistency applied to the covariant block is provably harmful, shrinking legitimate view-specific content to a fraction $1/(1+4λ)$ of its true value, and we verify this shrinkage law in controlled experiments. Selective cross-view consistency (SCVC) therefore constrains only the invariant block, requires no camera labels, extrinsics, depth, or view synthesis at training or test time, and leaves the deployment interface unchanged. We introduce a carve-and-hold-out evaluation protocol on the LIBERO-Plus camera track that separates a distribution-matched ceiling from genuine interpolation and extrapolation to held-out viewpoints, with a matched pair-trained control isolating the effect of the consistency term from pair exposure. On held-out orbital viewpoints beyond the training envelope, SCVC improves closed-loop success over the matched control by 12.2 points (95% CI [7.4, 17.0]; +15.5, CI [11.7, 19.4], under an independent second seed) -- an effect two further camera axes replicate -- while interpolation within the envelope shows no gain in either seed (-1.2 and -4.3 points) and in-distribution competence is preserved (-0.6, -0.2). We also report a cross-backbone audit showing that published camera-robustness numbers are confounded by wrist-camera pose stability.
- Abstract(参考訳): 世界アクションモデル(WAM)は、将来のビデオフレームとロボットアクションを共同で認知し、その制御を一般化することが期待されている。
カメラの視点の変化は、今でも最も困難な摂動軸の1つだ。
同状態のクロスビュー画像ペアでトレーニングする場合、どの出力座標に一貫性損失を課すべきか?
WAMデノナイジングターゲットは、ビュー-共変座標、すなわち予測される将来のシーンと、ビュー-不変座標、すなわちアクションチャンク、将来のプロプレセプション、および値とを混合する。
共変ブロックに適用された整合性は有意な有害性を示し、正規のビュー特化コンテンツをその真の値の1/(1+4λ)$に縮め、制御実験においてこの縮退則を検証する。
したがって、選択的なクロスビュー一貫性(SCVC)は不変ブロックのみを制約し、トレーニングやテスト時にカメララベル、外在性、深度、ビュー合成を必要としない。
そこで, LIBERO-Plus カメラトラックにカーブ・アンド・ホールド・アウト評価プロトコルを導入し, 分布整合天井を真の補間と外挿からホールド・アウト視点とを分離し, ペア露光から一貫性項の効果を分離するペア・トレーニング制御を提案する。
トレーニングエンベロープ以外の軌道上の観測では、SCVCは12.2ポイント(95% CI [7.4, 17.0]; +15.5, CI [11.7, 19.4], under an independent second seed)の閉ループ成功を改善する。
また,手首カメラのポーズ安定性により,カメラ・ロバスト性数値が構成されていることを示すクロスバックボーンオーディションも報告した。
関連論文リスト
- AcrossWAM1.0:A Modular Latent World-Action Stack for Compact Robot Policies [14.556446786016787]
本稿では,LaWAMの潜在的ワールドアクションスタックのモジュール化とスケーリングに関する研究であるAcrossWAM1.0を紹介する。
AcrossWAM1.0は、コンパクトな潜在世界アクションポリシーのための監査可能なソフトウェアと評価バウンダリを提供する。
論文 参考訳(メタデータ) (2026-08-30T18:09:17Z) - Zero-Shot Traffic Accident Detection via a Coarse-to-Fine VLM-Tracking Pipeline [0.10874100424278173]
ACCIDENT @ CVPRベンチマークは、厳密な制約の下で、この共同予測を正確に評価する。
我々は,凍結したQwen3-VL-32B-インストラクション視覚言語モデルとYOLO11xオブジェクト検出とBoT-SORTトラッキングを組み合わせた,トレーニングフリーで2パスの粗いパイプラインを提案する。
公式の2,027クリップの実CCTVテストセットにおいて,本システムは0.504の3方向高調波平均スコアを達成した。
論文 参考訳(メタデータ) (2026-08-09T19:08:56Z) - SC3-Eval: Evaluating Robot Foundation Models via Self-Consistent Video Generation [73.2142090645987]
SC3-Evalは、事前訓練されたビデオ基盤モデルを正確なポリシー評価器に適合させる自己一貫性のあるビデオ生成レシピである。
SC3-Evalロールアウトは、実世界のロールアウトでポリシーが示す障害モードを再現し、詳細な診断比較をサポートする。
論文 参考訳(メタデータ) (2026-06-17T02:15:46Z) - ConfCtrl: Enabling Precise Camera Control in Video Diffusion via Confidence-Aware Interpolation [24.89894187462497]
ConfCtrlは、カメラ誘導拡散モデルが未確認領域を完了しながら所定のポーズに従うことを可能にする、自信に敏感なビデオフレームワークである。
実験により、ConfCtrlは幾何学的に整合性があり、視覚的に可視性のある新しいビューを生成し、大きな視点変化の下で隠蔽領域を効果的に再構築することを示した。
論文 参考訳(メタデータ) (2026-03-10T15:44:48Z) - PoseDiff: A Unified Diffusion Model Bridging Robot Pose Estimation and Video-to-Action Control [67.17998939712326]
本稿では,ロボットの状態推定と制御を単一のフレームワーク内で統一する条件拡散モデルPoseDiffを提案する。
中心となるPoseDiffは、生の視覚を3Dキーポイントや関節角などの構造化されたロボットの状態にマッピングする。
この基盤の上に構築されたPoseDiffは、ビデオからアクションへの逆ダイナミクスに自然に拡張する。
論文 参考訳(メタデータ) (2025-09-29T10:55:48Z) - Sparse BEV Fusion with Self-View Consistency for Multi-View Detection and Tracking [15.680801582969393]
SCFusionは、マルチビュー機能統合を改善するための3つのテクニックを組み合わせたフレームワークである。
SCFusionは最先端のパフォーマンスを達成し、WildTrackで95.9%、MultiviewXで89.2%を記録した。
論文 参考訳(メタデータ) (2025-09-10T09:06:41Z) - CamI2V: Camera-Controlled Image-to-Video Diffusion Model [11.762824216082508]
統合カメラポーズは、ビデオ拡散モデルにおけるユーザフレンドリーで物理インフォームド条件であり、正確なカメラ制御を可能にする。
重要な課題の1つは、幾何学的整合性とカメラ制御性を高めるために、ノイズの多いクロスフレーム相互作用を効果的にモデル化することである。
我々は,条件の品質と不確実性を低減し,ノイズのあるクロスフレーム特徴をノイズのある状態の形で解釈する能力とを革新的に関連付ける。
論文 参考訳(メタデータ) (2024-10-21T12:36:27Z) - HVC-Net: Unifying Homography, Visibility, and Confidence Learning for
Planar Object Tracking [5.236567998857959]
我々は、ホモグラフィ、可視性、信頼性を共同で検討する統合畳み込みニューラルネットワーク(CNN)モデルを提案する。
提案手法は,パブリックPOTおよびTMTデータセットの最先端手法よりも優れている。
論文 参考訳(メタデータ) (2022-09-19T11:11:56Z) - Multi-View Correlation Consistency for Semi-Supervised Semantic
Segmentation [59.34619548026885]
半教師付きセマンティックセグメンテーションは、ラベルなしデータのリッチで堅牢な監視を必要とする。
本稿では,異なるビュー間の画素・画素対応を保証するビューコヒーレントなデータ拡張戦略を提案する。
2つのデータセットの半教師付き設定では、最先端の手法と比較して、競争の正確さが報告される。
論文 参考訳(メタデータ) (2022-08-17T17:59:11Z) - Hybrid Tracker with Pixel and Instance for Video Panoptic Segmentation [50.62685357414904]
ビデオパノプティカル係数(VPS)は、コヒーレントなパノプティカルセグメンテーションを生成し、ビデオフレーム全体の全ピクセルのアイデンティティを追跡することを目的としている。
単一トラッカーの限界を取り除くために,軽量かつ共同的な追跡モデルであるHybridTrackerを提案する。
総合的な実験により、HybridTrackerはCityscapes-VPSとVIPERデータセットの最先端メソッドよりも優れたパフォーマンスを実現している。
論文 参考訳(メタデータ) (2022-03-02T16:21:55Z) - Cross-Camera Feature Prediction for Intra-Camera Supervised Person
Re-identification across Distant Scenes [70.30052164401178]
人物再識別(Re-ID)は、重複しないカメラビュー間で人物画像をマッチングすることを目的としている。
ICS-DS Re-IDは、カメラ内IDラベル付きクロスカメラアンペアデータを使用してトレーニングを行う。
カメラ横断型自己監視情報マイニングのためのクロスカメラ特徴予測法
グローバルレベルの特徴とローカルレベルの特徴の合同学習は、グローバルなローカルなクロスカメラ特徴予測スキームを形成する。
論文 参考訳(メタデータ) (2021-07-29T11:27:50Z) - Intra-Inter Camera Similarity for Unsupervised Person Re-Identification [50.85048976506701]
擬似ラベル生成のための新しいカメラ内類似性について検討する。
re-idモデルをカメラ内およびカメラ間擬似ラベルを用いて2段階訓練した。
この単純なinter-inter cameraの類似性は、複数のデータセットで驚くほど優れたパフォーマンスを生み出す。
論文 参考訳(メタデータ) (2021-03-22T08:29:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。