論文の概要: Pix2Act: Image-Space Manipulation Policies with Equivariant Augmentation

• arxiv url: http://arxiv.org/abs/2607.11167v1
• Date: Mon, 13 Jul 2026 07:03:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.360784
• Title: Pix2Act: Image-Space Manipulation Policies with Equivariant Augmentation
• Title（参考訳）: Pix2Act:等変拡張による画像空間操作ポリシー
• Abstract要約: カメラ平面内の2次元軌跡として操作動作を表現することは、複雑な3次元操作ポリシーを学習するためのコンパクトで解釈可能な基礎を提供する。 カメラ面毎に連続的な画像空間キーポイント軌跡を生成することにより,これらの課題に対処する模倣学習手法Pix2Actを提案する。 これにより、よりシンプルで学習しやすい2次元予測問題として高次元3次元制御を再構成する。
• 参考スコア（独自算出の注目度）: 42.33906056027883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representing manipulation actions as 2D trajectories in the camera plane provides a compact and interpretable basis for learning complex 3D manipulation policies. However, it also creates challenges from out-of-frame trajectories and limited precision. We propose Pix2Act, an imitation learning method that addresses these challenges by generating continuous image-space keypoint trajectories in each camera plane and losslessly recovering end-effector poses via triangulation. This reformulates high-dimensional 3D control as a simpler, more learnable 2D prediction problem. Crucially, it aligns observations and actions in the same coordinate space, enabling equivariant transformations to jointly rotate individual camera images together with their image-space actions. We analyze the symmetry properties of this augmentation and design a network architecture that can fuse multiple camera views while respecting their per-view rotations. As a result, Pix2Act implicitly enlarges the support of the data distribution and learns invariant action structures across transformations, yielding improved generalization and overall performance. Across diverse simulated and real-world manipulation tasks, Pix2Act outperforms state-of-the-art baselines and remains robust under camera perturbations.
• Abstract（参考訳）: カメラ平面内の2次元軌道として操作動作を表現することは、複雑な3次元操作ポリシーを学習するためのコンパクトで解釈可能な基礎を提供する。 しかし、フレーム外軌道からの挑戦や精度の制限も生じている。 本稿では,各カメラ面に連続的な画像空間キーポイント軌跡を生成し,三角測量による終端ポーズを無作為に復元することにより,これらの課題に対処する模倣学習手法Pix2Actを提案する。 これにより、よりシンプルで学習しやすい2次元予測問題として高次元3次元制御を再構成する。 重要なことに、同じ座標空間における観測とアクションを一致させ、同変変換により個々のカメライメージと画像空間のアクションを共同で回転させることができる。 我々は、この拡張の対称性特性を分析し、ビュー毎の回転を尊重しながら複数のカメラビューを融合できるネットワークアーキテクチャを設計する。 その結果、Pix2Actはデータ分散のサポートを暗黙的に拡大し、変換間で不変なアクション構造を学び、一般化と全体的なパフォーマンスを改善した。 Pix2Actは様々なシミュレートされた実世界の操作タスクにまたがって、最先端のベースラインを上回り、カメラの摂動下でも堅牢である。

関連論文リスト

• SpatialDiff: 3D-Aware Object Movement via Implicit Spatial Modeling [60.4038189368113]
  本稿では,3次元空間構造の包括的理解を内部的に構築できるインプリシット3次元空間モデルを提案する。 また, 編集操作による物体の空間的位置の変化をモデルが知覚できるようにするため, 潜在空間的特徴を制約するグローバル空間的スーパービジョンを提案する。 実験により,複雑なシーンにおける空間移動の精度と忠実度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2026-08-22T04:46:08Z)
• Dexterity-BEV: Aligning 3D World and Actions for Generalizable Robot Policies Learning [51.799524981291235]
  エンドツーエンドの操作ポリシーは、汎用的で巧妙なロボット操作を約束することを示している。 2Dファンデーションモデルから2つの重要な制限を継承する。 これらの問題に対処するために、一連のコントリビューションを提示します。
  論文  参考訳（メタデータ） (2026-06-01T14:01:11Z)
• Ctrl&Shift: High-Quality Geometry-Aware Object Manipulation in Visual Generation [34.92056161129864]
  Ctrl&Shiftは3次元表現を明示せずに幾何一貫性のあるオブジェクト操作を実現するためのエンドツーエンド拡散フレームワークである。 我々の重要な洞察は、操作を2つの段階に分解することであり、オブジェクトの除去と、明示的なカメラポーズ制御の下での参照誘導塗装、および両者を統合拡散プロセス内にエンコードすることである。 我々の知る限り、これは、明示的な3Dモデリングに頼ることなく、きめ細かい幾何学的制御とオブジェクト操作の現実世界の一般化を統一する最初のフレームワークである。
  論文  参考訳（メタデータ） (2026-02-11T23:36:30Z)
• Towards Rotation-only Imaging Geometry: Rotation Estimation [11.806182001858454]
  Structure from Motion (SfM) はコンピュータビジョンにおいて重要な課題であり、一連の2次元画像から3次元シーン構造とカメラモーションを復元することを目的としている。 最近のポーズのみの画像幾何学は、カメラのポーズから3D座標を分離し、ポーズ調整によるSfM性能を著しく向上させる。
  論文  参考訳（メタデータ） (2025-11-16T02:04:32Z)
• XYZCylinder: Feedforward Reconstruction for Driving Scenes Based on A Unified Cylinder Lifting Method [27.213339282749885]
  統一シリンダリフト法に基づくフィードフォワードモデルである textbfXYZ Cylinder を提案する。 具体的には、視点に依存した空間対応の学習を避けるため、UCCM(Unified Cylinder Camera Modeling)戦略を設計する。 再構成精度を向上させるために,新たに設計されたCylinder Plane Feature Groupに基づく複数の専用モジュールを用いたハイブリッド表現を提案する。
  論文  参考訳（メタデータ） (2025-10-09T06:58:03Z)
• LiftImage3D: Lifting Any Single Image to 3D Gaussians with Video Generation Priors [107.83398512719981]
  シングルイメージの3D再構成は、コンピュータビジョンの根本的な課題である。 遅延ビデオ拡散モデルの最近の進歩は、大規模ビデオデータから学ぶ有望な3D事前情報を提供する。 本稿では,LVDMの生成先行情報を効果的にリリースするフレームワークであるLiftImage3Dを提案する。
  論文  参考訳（メタデータ） (2024-12-12T18:58:42Z)
• RelPose++: Recovering 6D Poses from Sparse-view Observations [66.6922660401558]
  スパースビュー画像集合(2-8画像)から6次元カメラポーズを推定する作業に対処する。 我々は,画像対上の相対回転よりも分布を推定するネットワークを学習するRelPoseフレームワークを構築した。 最終システムは,先行技術よりも6次元ポーズ予測を大幅に改善する。
  論文  参考訳（メタデータ） (2023-05-08T17:59:58Z)
• A Pose-only Solution to Visual Reconstruction and Navigation [23.86386627769292]
  大規模なシーンやクリティカルなカメラの動きは、この目標を達成するために研究コミュニティが直面する大きな課題です。 私たちは、これらの課題を解決できるポーズオンリーのイメージングジオメトリフレームワークとアルゴリズムを立ち上げました。
  論文  参考訳（メタデータ） (2021-03-02T07:21:08Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。