論文の概要: Aligning Policy Encoders with a Shape Teacher
- arxiv url: http://arxiv.org/abs/2611.08275v1
- Date: Thu, 05 Nov 2026 16:44:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.58333
- Title: Aligning Policy Encoders with a Shape Teacher
- Title（参考訳）: 形状教師によるポリシーエンコーダの調整
- Abstract要約: 画像ベースのポリシーエンコーダのアライメントターゲットとして,事前訓練された3次元形状表現を用いた学習時間機構である形状学習者アライメントを提案する。
具体的には、個々のオブジェクトからのPoint-MAE機能を対応するイメージパッチのターゲットとして使用し、配置入力やアーキテクチャを変更することなく、幾何学的構造をポリシーに転送する。
事前訓練されたポリシーでは、展開時に形状教師や深度入力を必要とせず、それぞれオブジェクトスイートと空間スイートの4.7倍と5.6倍の収束が加速される。
- 参考スコア（独自算出の注目度）: 11.13507883446085
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D-aware representations can improve robotic manipulation by providing geometric information that is robust to changes in viewpoint, object position, and occlusion. However, using 3D inputs at deployment requires additional sensing and processing, making image-based policies more practical. We ask whether an image-based policy can acquire 3D shape information during training while retaining a purely image-based interface at deployment. We propose shape-teacher alignment, a training-time mechanism that uses a pretrained 3D shape representation as an alignment target for an image-based policy encoder. Specifically, we use Point-MAE features from individual objects as targets for corresponding image patches, transferring geometric structure to the policy without changing its deployment inputs or architecture. On LIBERO, shape-teacher alignment produces image representations that are more structured around object shape and corresponding parts, while substantially accelerating policy convergence and improving success rates. For pretrained policies, convergence is accelerated by 4.7x and 5.6x on the Object and Spatial suites, respectively, without requiring the shape teacher or depth input at deployment.
- Abstract（参考訳）: 3D対応の表現は、視点、物体位置、閉塞の変化に頑健な幾何学的情報を提供することで、ロボット操作を改善することができる。
しかし、デプロイメントで3D入力を使用するには、追加のセンシングと処理が必要で、画像ベースのポリシーをより実用的になる。
我々は、画像ベースのポリシーが、純粋に画像ベースのインターフェイスをデプロイ時に保持しながら、トレーニング中に3次元形状情報を取得することができるかどうかを問う。
画像ベースのポリシーエンコーダのアライメントターゲットとして,事前訓練された3次元形状表現を用いた学習時間機構である形状学習者アライメントを提案する。
具体的には、個々のオブジェクトからのPoint-MAE機能を対応するイメージパッチのターゲットとして使用し、配置入力やアーキテクチャを変更することなく、幾何学的構造をポリシーに転送する。
LIBEROでは、形状と教師のアライメントにより、オブジェクト形状とそれに対応する部分を中心により構造化された画像表現が生成され、ポリシの収束が著しく加速し、成功率が向上する。
事前訓練されたポリシーでは、展開時に形状教師や深度入力を必要とせず、それぞれオブジェクトスイートと空間スイートの4.7倍と5.6倍の収束が加速される。
関連論文リスト
- Direct 3D-Aware Object Insertion via Decomposed Visual Proxies [101.76006356727015]
DIRECT(Decomposed Injection for Reference Composition and Target-integration)は、対話型ポーズ操作と高忠実度2D画像合成を統合する新しいフレームワークである。
提案手法は挿入条件を,参照オブジェクトから視覚的詳細をキャプチャする外観ガイダンス,ユーザ調整3Dプロキシから派生した幾何学的ガイダンス,ターゲット背景からのコンテキストガイダンスの3つの補完成分に分解する。
実験により、DIRECTは幾何学的制御性と視覚的品質の両方において従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2026-06-04T18:00:34Z) - 3D Congealing: 3D-Aware Image Alignment in the Wild [44.254247801001675]
3D Congealingは、意味的に類似したオブジェクトをキャプチャする2D画像の3D対応アライメントの問題である。
形状テンプレートやポーズ,あるいは任意のカメラパラメータを仮定することなく,タスクに対処する一般的なフレームワークを導入する。
我々のフレームワークは、対応マッチング、ポーズ推定、画像編集といった様々なタスクに利用できる。
論文 参考訳（メタデータ） (2024-04-02T17:32:12Z) - Geometric-aware Pretraining for Vision-centric 3D Object Detection [77.7979088689944]
GAPretrainと呼ばれる新しい幾何学的事前学習フレームワークを提案する。
GAPretrainは、複数の最先端検出器に柔軟に適用可能なプラグアンドプレイソリューションとして機能する。
BEVFormer法を用いて, nuScenes val の 46.2 mAP と 55.5 NDS を実現し, それぞれ 2.7 と 2.1 点を得た。
論文 参考訳（メタデータ） (2023-04-06T14:33:05Z) - Self-Supervised Image Representation Learning with Geometric Set
Consistency [50.12720780102395]
本稿では,3次元幾何整合性に基づく自己教師付き画像表現学習法を提案する。
具体的には、画像ビュー内の特徴整合性を強化するために、コントラスト学習フレームワークに3次元幾何学的整合性を導入する。
論文 参考訳（メタデータ） (2022-03-29T08:57:33Z) - Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。
我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。
深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
論文 参考訳（メタデータ） (2021-08-10T12:19:34Z) - Implicit Mesh Reconstruction from Unannotated Image Collections [48.85604987196472]
本稿では,1枚のRGB画像から3次元形状,テクスチャ,カメラのポーズを推定する手法を提案する。
この形状を画像条件付暗黙関数として表現し、球面を予測メッシュのそれに変換するとともに、対応するテクスチャを予測する。
論文 参考訳（メタデータ） (2020-07-16T17:55:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。