論文の概要: RoPEMover: Depth-Aware Object Relocation via Positional Embeddings
- arxiv url: http://arxiv.org/abs/2606.27332v1
- Date: Thu, 25 Jun 2026 17:45:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.383782
- Title: RoPEMover: Depth-Aware Object Relocation via Positional Embeddings
- Title(参考訳): RoPEMover: 位置埋め込みによる深度認識オブジェクトの移動
- Abstract要約: 拡散変圧器の位置表現を直接操作する幾何学的物体運動法を提案する。
2D RoPEを3次元空間構造を符号化する深度認識型定式化に拡張する。
本モデルは,パラメータ効率のよい微調整により,合成データと実画像の小さなセットを組み合わせて訓練する。
- 参考スコア(独自算出の注目度): 25.069960502722296
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Moving an object in a single image requires geometry-consistent spatial rearrangement, including handling occlusions, revealing previously unseen regions, and maintaining coherent shadows and reflections. Existing approaches are not well suited to this setting and often fail to preserve such scene-level consistency. We address this problem by introducing a geometry-aware object motion method that operates directly on the positional representations of diffusion transformers. Our key insight is that rotary positional embeddings (RoPE) define a structured spatial field that can be explicitly manipulated to induce controlled motion. We extend 2D RoPE into a depth-aware formulation that encodes 3D spatial structure, enabling consistent object displacement and scene-aware updates. Our model is trained using synthetic data combined with a small set of real images via parameter-efficient fine-tuning. Despite minimal real supervision, it preserves object identity under large spatial displacements, generates plausible content in newly revealed regions, and consistently updates scene-dependent effects such as shadows and illumination. Experimental results on standard object motion benchmarks demonstrate state-of-the-art performance across all evaluation metrics.
- Abstract(参考訳): 単一の画像で物体を移動させるには、オクルージョンの扱い、以前は見えなかった領域の明示、一貫性のある影と反射の維持など、幾何学的に一貫性のある空間再構成が必要である。
既存のアプローチは、この設定にはあまり適しておらず、多くの場合、このようなシーンレベルの一貫性を維持するのに失敗します。
拡散変圧器の位置表現を直接操作する幾何学的物体運動法を導入することでこの問題に対処する。
我々のキーとなる洞察は、回転位置埋め込み (RoPE) は、制御された動きを誘発するために明示的に操作できる構造的空間場を定義することである。
我々は2D RoPEを3次元空間構造を符号化した奥行き認識式に拡張し、一貫した物体変位とシーン認識更新を可能にする。
本モデルは,パラメータ効率のよい微調整により,合成データと実画像の小さなセットを組み合わせて訓練する。
実際の監督は最小限だが、大きな空間変位の下でオブジェクトのアイデンティティを保持し、新たに明らかになった領域で可視なコンテンツを生成し、シャドウや照明などのシーン依存効果を継続的に更新する。
標準オブジェクトモーションベンチマークの実験結果は、すべての評価指標の最先端性能を示す。
関連論文リスト
- SpatialDiff: 3D-Aware Object Movement via Implicit Spatial Modeling [60.4038189368113]
本稿では,3次元空間構造の包括的理解を内部的に構築できるインプリシット3次元空間モデルを提案する。
また, 編集操作による物体の空間的位置の変化をモデルが知覚できるようにするため, 潜在空間的特徴を制約するグローバル空間的スーパービジョンを提案する。
実験により,複雑なシーンにおける空間移動の精度と忠実度を大幅に向上することが示された。
論文 参考訳(メタデータ) (2026-08-22T04:46:08Z) - Compact Object-Level Representations with Open-Vocabulary Understanding for Indoor Visual Relocalization [93.79141221821858]
OpenReLocは、シーン理解と正確なポーズ推定機能を提供するために設計されたカメラ再ローカライズシステムである。
2D-3Dオブジェクトマッチングのためのオープン語彙意味知識を統合するためのマルチモーダル機構を提案する。
実験により、OpenReLocは、様々なデータセット間で、より優れた再ローカライズリコールと精度を実現することが示された。
論文 参考訳(メタデータ) (2026-06-23T16:27:04Z) - Direct 3D-Aware Object Insertion via Decomposed Visual Proxies [101.76006356727015]
DIRECT(Decomposed Injection for Reference Composition and Target-integration)は、対話型ポーズ操作と高忠実度2D画像合成を統合する新しいフレームワークである。
提案手法は挿入条件を,参照オブジェクトから視覚的詳細をキャプチャする外観ガイダンス,ユーザ調整3Dプロキシから派生した幾何学的ガイダンス,ターゲット背景からのコンテキストガイダンスの3つの補完成分に分解する。
実験により、DIRECTは幾何学的制御性と視覚的品質の両方において従来の手法よりも優れていた。
論文 参考訳(メタデータ) (2026-06-04T18:00:34Z) - VGGT-Edit: Feed-forward Native 3D Scene Editing with Residual Field Prediction [59.303842406260124]
VGGT-Editはテキスト条件のネイティブ3Dシーン編集のためのフィードフォワードフレームワークである。
本研究では,奥行き同期テキストインジェクションを導入し,意味的指導をバックボーンの空間的ポーズと整合させる。
VGGT-Editは2Dリフトベースラインを大幅に上回り、よりシャープなオブジェクトの詳細、より強力なマルチビュー一貫性、ほぼインスタントな推論速度を生み出している。
論文 参考訳(メタデータ) (2026-05-14T17:59:04Z) - GemDepth: Geometry-Embedded Features for 3D-Consistent Video Depth [12.866152238833104]
ビデオ深度推定は、一眼的予測を時間領域に拡張し、コヒーレンスを確保する。
現在のアプローチは主にトランスフォーマーによる時間的平滑化に依存しており、厳密な3次元幾何学的整合性を維持するのに苦労している。
GemDepthは,カメラモーションとグローバル3D構造を明確に認識することが3D一貫性の前提条件である,という知見に基づいて構築されたフレームワークである。
論文 参考訳(メタデータ) (2026-05-11T13:11:54Z) - Detailed Geometry and Appearance from Opportunistic Motion [44.38825288921379]
固定カメラの粗い集合から3次元形状と外観を再構築することは、幅広い用途において基礎的な課題である。
静止カメラは局所座標フレーム内の物体の軌道を効果的に公転し、仮想的な視点を提供する。
しかし、この物体の動きを調和させることは、物体のポーズの密結合と幾何学的推定と、静的照明下で動く物体の複雑な外観変化の2つの課題をもたらす。
論文 参考訳(メタデータ) (2026-03-27T17:59:16Z) - SpatialActor: Exploring Disentangled Spatial Representations for Robust Robotic Manipulation [63.48859753472547]
SpaceActorは、意味論と幾何学を明確に分離する堅牢なロボット操作のためのフレームワークである。
RLBenchの87.4%で最先端のパフォーマンスを達成し、ノイズの異なる条件下では13.9%から19.4%改善している。
論文 参考訳(メタデータ) (2025-11-12T18:59:08Z) - IGFuse: Interactive 3D Gaussian Scene Reconstruction via Multi-Scans Fusion [15.837932667195037]
IGFuseは対話型ガウスシーンを複数のスキャンから観測することで再構成する新しいフレームワークである。
本手法は,ガウス場を意識したセグメンテーションを構築し,スキャン間の双方向光度・セマンティック一貫性を実現する。
IGFuseは、密度の高い観測や複雑なパイプラインを使わずに、高忠実なレンダリングとオブジェクトレベルのシーン操作を可能にする。
論文 参考訳(メタデータ) (2025-08-18T17:59:47Z) - Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。
ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。
提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
論文 参考訳(メタデータ) (2024-07-30T15:33:58Z) - Invariant-based Mapping of Space During General Motion of an Observer [0.0]
本稿では、視覚的動きに基づく不変性について検討し、その結果、新たな瞬間的領域が生まれる。
幾何学的3次元不変量にリンクした可測光フローから導出される非線形関数を利用する。
本稿では3Dオブジェクトに対して回転するカメラのシミュレーションを行い、投影された画像のスナップショットを撮影する。
論文 参考訳(メタデータ) (2023-11-18T17:40:35Z) - DynaVol: Unsupervised Learning for Dynamic Scenes through Object-Centric
Voxelization [67.85434518679382]
幾何学構造と物体中心学習を統一した3次元シーン生成モデルDynaVolを提案する。
鍵となるアイデアは、シーンの3D特性を捉えるために、オブジェクト中心のボキセル化を実行することである。
ボクセルの機能は標準空間の変形関数を通じて時間とともに進化し、グローバルな表現学習の基礎を形成する。
論文 参考訳(メタデータ) (2023-04-30T05:29:28Z) - Robust Change Detection Based on Neural Descriptor Fields [53.111397800478294]
我々は、部分的に重なり合う観測結果とノイズのある局所化結果に頑健なオブジェクトレベルのオンライン変化検出手法を開発した。
形状符号の類似性を利用して物体を連想させ, 局所的な物体近傍の空間配置を比較することにより, 観測重複や局所雑音に対する頑健性を示す。
論文 参考訳(メタデータ) (2022-08-01T17:45:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。