論文の概要: $SE(3)$ Equivariant Ray Embeddings for Implicit Multi-View Depth Estimation

• arxiv url: http://arxiv.org/abs/2411.07326v1
• Date: Mon, 11 Nov 2024 19:34:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:21:30.491369
• Title: $SE(3)$ Equivariant Ray Embeddings for Implicit Multi-View Depth Estimation
• Title（参考訳）: 入射多視点深度推定のための$SE(3)$等変光埋め込み
• Authors: Yinshuang Xu, Dian Chen, Katherine Liu, Sergey Zakharov, Rares Ambrus, Kostas Daniilidis, Vitor Guizilini,
• Abstract要約: 本稿では,同変多視点学習の深度推定への応用について検討する。 位置符号化には球高調波を用い、3次元回転同値性を確保する。 我々はPerceiver IOアーキテクチャ内で、特殊同変エンコーダとデコーダを開発する。
• 参考スコア（独自算出の注目度）: 45.26823569257832
• License:
• Abstract: Incorporating inductive bias by embedding geometric entities (such as rays) as input has proven successful in multi-view learning. However, the methods adopting this technique typically lack equivariance, which is crucial for effective 3D learning. Equivariance serves as a valuable inductive prior, aiding in the generation of robust multi-view features for 3D scene understanding. In this paper, we explore the application of equivariant multi-view learning to depth estimation, not only recognizing its significance for computer vision and robotics but also addressing the limitations of previous research. Most prior studies have either overlooked equivariance in this setting or achieved only approximate equivariance through data augmentation, which often leads to inconsistencies across different reference frames. To address this issue, we propose to embed $SE(3)$ equivariance into the Perceiver IO architecture. We employ Spherical Harmonics for positional encoding to ensure 3D rotation equivariance, and develop a specialized equivariant encoder and decoder within the Perceiver IO architecture. To validate our model, we applied it to the task of stereo depth estimation, achieving state of the art results on real-world datasets without explicit geometric constraints or extensive data augmentation.
• Abstract（参考訳）: 幾何学的実体(線など)を入力として埋め込むことによって帰納バイアスを組み込むことは、多視点学習において成功している。 しかし, この手法は, 有効3次元学習に欠かせない等価性を欠いている。 等分散は、3Dシーン理解のための堅牢な多視点特徴の生成を支援する、価値ある帰納的先行として機能する。 本稿では,コンピュータビジョンとロボット工学におけるその意義を認識するだけでなく,過去の研究の限界にも対処するため,同変多視点学習の深度推定への応用について検討する。 これまでのほとんどの研究は、この設定で同値性を見落としているか、データ拡張によって近似同値性しか達成していないかのいずれかであり、しばしば異なる参照フレーム間で矛盾をもたらす。 この問題に対処するため、Perceiver IOアーキテクチャに$SE(3)$等分散を組み込むことを提案する。 位置符号化には球高調波を用い、3次元回転同値を確保するとともに、Perceiver IOアーキテクチャ内での特殊同変エンコーダとデコーダを開発する。 本モデルの有効性を検証するため, 立体深度推定の課題に適用し, 明示的な幾何的制約や広範囲なデータ拡張を伴わずに, 実世界のデータセット上での最先端の結果を達成した。

関連論文リスト

• Relaxed Equivariance via Multitask Learning [7.905957228045955]
  マルチタスク学習と等価性を近似するトレーニング手法であるREMULを紹介する。 制約のないモデルは、追加の単純な等分散損失を最小化することにより、近似対称性を学習できることが示される。 提案手法は, 等変ベースラインと比較して, 推論時の10倍, トレーニング時の2.5倍の速さで, 競争性能が向上する。
  論文  参考訳（メタデータ） (2024-10-23T13:50:27Z)
• Divide and Conquer: Improving Multi-Camera 3D Perception with 2D Semantic-Depth Priors and Input-Dependent Queries [30.17281824826716]
  既存の手法は、しばしば意味と深さの手がかりの相乗効果を無視し、分類と位置推定誤差をもたらす。 本稿では,SemanticsとDepthを先行として活用した入力対応トランスフォーマーフレームワークを提案する。 我々のアプローチは、意味と深さの事前を明示的にモデル化するS-Dを用いることで、オブジェクトの分類と位置推定の学習プロセスを阻害する。
  論文  参考訳（メタデータ） (2024-08-13T13:51:34Z)
• Towards Unified 3D Object Detection via Algorithm and Data Unification [70.27631528933482]
  我々は、最初の統一型マルチモーダル3Dオブジェクト検出ベンチマークMM-Omni3Dを構築し、上記のモノクロ検出器をマルチモーダルバージョンに拡張する。 設計した単分子・多モード検出器をそれぞれUniMODEとMM-UniMODEと命名した。
  論文  参考訳（メタデータ） (2024-02-28T18:59:31Z)
• 3D Adversarial Augmentations for Robust Out-of-Domain Predictions [115.74319739738571]
  ドメイン外データへの一般化の改善に注力する。 対象を逆向きに変形させるベクトルの集合を学習する。 本研究では,学習したサンプル非依存ベクトルをモデルトレーニング時に利用可能なオブジェクトに適用することにより,対数拡大を行う。
  論文  参考訳（メタデータ） (2023-08-29T17:58:55Z)
• Viewpoint Equivariance for Multi-View 3D Object Detection [35.4090127133834]
  最先端の手法は多視点カメラ入力からのオブジェクト境界ボックスの推論と復号化に重点を置いている。 本稿では,3次元多視点幾何を利用した新しい3次元オブジェクト検出フレームワークであるVEDetを紹介する。
  論文  参考訳（メタデータ） (2023-03-25T19:56:41Z)
• A Closer Look at Invariances in Self-supervised Pre-training for 3D Vision [0.0]
  3Dビジョンのための自己監督型事前訓練は近年研究の関心が高まっている。 本稿では,様々な事前学習手法を検証可能な統合フレームワークを提案する。 コントラスト学習を用いた3次元エンコーダと深度マップエンコーダを併用した簡易かつ効果的な事前学習法を提案する。
  論文  参考訳（メタデータ） (2022-07-11T16:44:15Z)
• Unsupervised Geodesic-preserved Generative Adversarial Networks for Unconstrained 3D Pose Transfer [84.04540436494011]
  任意の任意の任意の3次元メッシュ間のポーズ転送を行うための教師なしアプローチを提案する。 具体的には、内因性(形状)と外因性(ポーズ)の情報保存について、新規な内因性-外因性保存生成ネットワーク(IEP-GAN)を提示する。 提案手法は,最近の最先端手法と比較して,より優れた結果が得られ,より効率的である。
  論文  参考訳（メタデータ） (2021-08-17T09:08:21Z)
• Self-Supervised 3D Hand Pose Estimation from monocular RGB via Contrastive Learning [50.007445752513625]
  本稿では,3次元ポーズ推定における構造化回帰タスクに対する自己教師付き手法を提案する。 我々は、不変および同変のコントラスト目的の影響を実験的に検討した。 追加のラベル付きデータに基づいてトレーニングされた標準のResNet-152が、FreiHAND上のPA-EPEで7.6%の改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:48:57Z)
• Adjoint Rigid Transform Network: Task-conditioned Alignment of 3D Shapes [86.2129580231191]
  Adjoint Rigid Transform (ART) Networkは、さまざまな3Dネットワークと統合可能なニューラルネットワークモジュールである。 ARTは入力の形状を学習した標準方向に回転させることを学び、多くのタスクに欠かせない。 さらなる研究のために、コードと事前訓練されたモデルをリリースします。
  論文  参考訳（メタデータ） (2021-02-01T20:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。