論文の概要: InfiNoVA: Infinite Novel View Augmentation for Viewpoint Invariant Robot Policies
- arxiv url: http://arxiv.org/abs/2609.27734v1
- Date: Wed, 23 Sep 2026 11:47:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:18.004516
- Title: InfiNoVA: Infinite Novel View Augmentation for Viewpoint Invariant Robot Policies
- Title(参考訳): InfiNoVA:ビューポイント不変ロボットポリシーの新しいビュー拡張
- Abstract要約: VLA(Vision-Language-Action)ポリシーは、トレーニング中に見るカメラの視点に強く依存することが多い。
InfiNoVAは、同期マルチカメラのデモを幾何学的に一貫したトレーニングビューの密度分布に変換するデータ拡張フレームワークである。
- 参考スコア(独自算出の注目度): 7.009487789080345
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-Language-Action (VLA) policies often rely strongly on the camera viewpoints seen during training, causing substantial performance degradation when deployed from unseen perspectives. Collecting demonstrations from sufficiently diverse physical viewpoints is expensive and still provides only sparse coverage of the viewpoint space. We introduce InfiNoVA, a data-augmentation framework that converts synchronized multi-camera demonstrations into a dense distribution of geometrically consistent training views. InfiNoVA reconstructs each manipulation trajectory as a time-varying 3D Gaussian representation and renders novel observations from sampled camera poses while preserving the original state-action correspondence. This explicit scene representation improves frame-level fidelity and temporal consistency while reducing task-critical hallucinations observed in generative novel-view synthesis. Across four real-world manipulation tasks, policies trained with InfiNoVA achieve 5.4x higher average success under unseen randomized viewpoints than both VISTA-based augmentation and the unaugmented policy. InfiNoVA further achieves 1.7x higher success than training directly on all five physical camera views. These results show that dense, geometrically grounded viewpoint augmentation provides a practical route toward camera-robust robot policies without modifying the underlying policy architecture.
- Abstract(参考訳): VLA(Vision-Language-Action)ポリシーは、トレーニング中に見るカメラの視点に強く依存することが多い。
十分に多様な物理的視点からデモを収集するのは高価であり、まだ視点空間の細かなカバレッジしか提供していない。
InfiNoVAは、同期マルチカメラのデモを幾何学的に一貫したトレーニングビューの密度分布に変換するデータ拡張フレームワークである。
InfiNoVAは、各操作軌跡を時間変化した3次元ガウス表現として再構成し、元の状態対応を保ちながら、サンプルカメラのポーズから新しい観察を行う。
この明示的なシーン表現は、生成的ノベルビュー合成で観察されるタスククリティカルな幻覚を低減しつつ、フレームレベルの忠実度と時間的一貫性を向上させる。
4つの実世界の操作タスクの中で、InfiNoVAで訓練されたポリシーは、VISTAベースの拡張と拡張されていないポリシーよりも、目に見えないランダムな視点で平均5.4倍の成功を達成する。
InfiNoVAは5つの物理的カメラビューを直接トレーニングするよりも1.7倍の成功を収めている。
これらの結果から,高密度で幾何学的基盤を持つ視点拡張は,基盤となるポリシーアーキテクチャを変更することなく,カメラ・ロバストなロボットポリシーへの実践的な道筋を提供することが示された。
関連論文リスト
- ARGUS: Aligning Robot Scene Geometry Under Shifting Views with Large 3D Vision Models [6.225936390546933]
ARGUSは、大規模な3Dビジョンモデルを使用して、任意のカメラ視点からの画像観察を標準的な視点に整列させ、下流のヴィジュモータポリシーに渡す、観察前処理パイプラインである。
効率比較では、ARGUSはビュー・ディバースデータから学習する能力を示し、従来の方法よりも4-6倍速く高い成功率に収束する。
論文 参考訳(メタデータ) (2026-08-06T04:00:07Z) - Pose6DAug: Physically Plausible Multi-view Object Swapping for Robot Data Augmentation [52.61098793949261]
障害駆動型データ拡張フレームワークであるPose6DAugを紹介します。
我々は、ポリシーの成功エピソードを、障害モードのターゲットとなるデモに変換する。
提案手法は,時間的コヒーレントな6次元ポーズ軌道によって駆動される明示的なメッシュで対象物体を固定し,直接3次元で動作させる。
論文 参考訳(メタデータ) (2026-06-18T11:41:25Z) - Universal Pose Pretraining for Generalizable Vision-Language-Action Policies [83.39008378156647]
既存のVision-Language-Action(VLA)モデルは、しばしば機能崩壊と訓練効率の低下に悩まされる。
本稿では,VLAトレーニングを3次元空間前駆体抽出のための事前学習フェーズに分離する,分離されたパラダイムであるPose-VLAを提案する。
我々のフレームワークは2段階の事前学習パイプラインに従い、ポーズと動きのアライメントによる基本的な空間接地を確立する。
論文 参考訳(メタデータ) (2026-02-23T11:00:08Z) - PAOLI: Pose-free Articulated Object Learning from Sparse-view Images [27.16160315662701]
本稿では,スパースビュー,アンポーズ画像から明瞭なオブジェクト表現を学習するための新しいフレームワークを提案する。
当社のアプローチは1音節あたり4ビューで運用されており、カメラの監視は行いません。
論文 参考訳(メタデータ) (2025-09-04T14:51:03Z) - OG-VLA: 3D-Aware Vision Language Action Model via Orthographic Image Generation [68.11862866566817]
3D対応のポリシーは、精密なロボット操作タスクにおいて最先端のパフォーマンスを実現するが、見えない指示、シーン、オブジェクトへの一般化に苦慮している。
我々は,視覚言語行動モデル(VLA)の一般化強度と3D対応ポリシーの堅牢性を組み合わせた,新しいアーキテクチャと学習フレームワークであるOG-VLAを紹介する。
論文 参考訳(メタデータ) (2025-06-01T22:15:45Z) - Extrapolated Urban View Synthesis Benchmark [53.657271730352214]
光シミュレーターは視覚中心型自動運転車(AV)の訓練と評価に不可欠である
中心となるのはノベルビュー合成(英語版)(NVS)であり、これはAVの広範かつ連続的なポーズ分布に対応するために、様々な目に見えない視点を生成する能力である。
近年の3次元ガウス・スプラッティングのような放射場の発展は、リアルタイムなリアルタイムレンダリングを実現し、大規模ドライビングシーンのモデリングに広く利用されている。
自動運転車と都市ロボットシミュレーション技術の進歩を支援するために、データを公開します。
論文 参考訳(メタデータ) (2024-12-06T18:41:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。