論文の概要: SE(3)-Equivariant Reconstruction from Light Field
- arxiv url: http://arxiv.org/abs/2212.14871v1
- Date: Fri, 30 Dec 2022 18:38:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 17:08:39.766270
- Title: SE(3)-Equivariant Reconstruction from Light Field
- Title（参考訳）: se(3)-同変光場からの再構成
- Authors: Yinshuang Xu, Jiahui Lei, Kostas Daniilidis
- Abstract要約: ディープラーニングは、単一の画像から形状を推測するために、事前の使用方法を示している。
本稿では,数枚の画像から同変先行値を計算する方法の問題点に対処する。
元の光場畳み込みは計算的かつメモリ的にも難解であるため、ビュー内$SE(2)$畳み込みによってどのように近似できるかを示す。
- 参考スコア（独自算出の注目度）: 40.840098156362316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent progress in geometric computer vision has shown significant advances
in reconstruction and novel view rendering from multiple views by capturing the
scene as a neural radiance field. Such approaches have changed the paradigm of
reconstruction but need a plethora of views and do not make use of object shape
priors. On the other hand, deep learning has shown how to use priors in order
to infer shape from single images. Such approaches, though, require that the
object is reconstructed in a canonical pose or assume that object pose is known
during training. In this paper, we address the problem of how to compute
equivariant priors for reconstruction from a few images, given the relative
poses of the cameras. Our proposed reconstruction is $SE(3)$-gauge equivariant,
meaning that it is equivariant to the choice of world frame. To achieve this,
we make two novel contributions to light field processing: we define light
field convolution and we show how it can be approximated by intra-view $SE(2)$
convolutions because the original light field convolution is computationally
and memory-wise intractable; we design a map from the light field to
$\mathbb{R}^3$ that is equivariant to the transformation of the world frame and
to the rotation of the views. We demonstrate equivariance by obtaining robust
results in roto-translated datasets without performing transformation
augmentation.
- Abstract（参考訳）: 近年の幾何学的コンピュータビジョンの進歩は、シーンをニューラルラディアンス場として捉え、複数のビューからの再構成と新しいビューレンダリングに大きな進歩を見せている。
このようなアプローチはレコンストラクションのパラダイムを変えたが、多くのビューを必要とし、オブジェクトの形状を事前に利用しない。
一方、深層学習では、単一の画像から形状を推測するために、事前の使用方法が示されている。
しかし、そのようなアプローチでは、オブジェクトは標準的なポーズで再構成されるか、トレーニング中にオブジェクトのポーズが知られていると仮定する必要がある。
本稿では,カメラの相対的なポーズを考慮し,数枚の画像から再構成するための同変前処理の計算方法について述べる。
提案した再構成は$SE(3)$-gauge同変であり、これは世界枠の選択に同変であることを意味する。
これを実現するために、光場畳み込みを定義し、元の光場畳み込みが計算的かつ記憶的に難解であるため、光場畳み込みが$SE(2)$畳み込みによってどのように近似できるかを示し、光場から世界フレームの変換とビューの回転に同値な$\mathbb{R}^3$への写像を設計する。
変換拡張を行うことなく,ロト翻訳データセットのロバストな結果を得ることにより,同値性を示す。
関連論文リスト
- ODGS: 3D Scene Reconstruction from Omnidirectional Images with 3D Gaussian Splattings [48.72040500647568]
幾何的解釈を用いた全方位画像の新規化パイプラインであるODGSについて述べる。
パイプライン全体が並列化され、最適化が達成され、NeRFベースの手法よりも100倍高速になる。
その結果、ODGSは大規模な3Dシーンを再構築しても、細部を効果的に復元できることがわかった。
論文 参考訳（メタデータ） (2024-10-28T02:45:13Z) - Learning Naturally Aggregated Appearance for Efficient 3D Editing [94.47518916521065]
カラーフィールドを2次元の鮮明なアグリゲーションに置き換えることを提案する。
歪み効果を回避し、簡便な編集を容易にするため、3Dの点をテクスチャルックアップのために2Dピクセルにマッピングする投影場を標準画像に補完する。
私たちの表現はAGAPと呼ばれ、再最適化を必要とせず、様々な3D編集方法(スタイル化、インタラクティブな描画、コンテンツ抽出など)をうまくサポートしています。
論文 参考訳（メタデータ） (2023-12-11T18:59:31Z) - MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。
異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。
本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
論文 参考訳（メタデータ） (2023-04-17T13:49:04Z) - Equivalence Between SE(3) Equivariant Networks via Steerable Kernels and
Group Convolution [90.67482899242093]
近年, 入力の回転と変換において等価な3次元データに対して, ニューラルネットワークを設計するための幅広い手法が提案されている。
両手法とその等価性を詳細に解析し,その2つの構成をマルチビュー畳み込みネットワークに関連付ける。
また、同値原理から新しいTFN非線形性を導出し、実用的なベンチマークデータセット上でテストする。
論文 参考訳（メタデータ） (2022-11-29T03:42:11Z) - EpiGRAF: Rethinking training of 3D GANs [60.38818140637367]
本稿では,SotA画像品質の高い高解像度3Dジェネレータを,パッチワイズを単純に訓練するまったく異なる経路を辿ることによって実現可能であることを示す。
EpiGRAFと呼ばれる結果のモデルは、効率的で高解像度で純粋な3Dジェネレータである。
論文 参考訳（メタデータ） (2022-06-21T17:08:23Z) - Rotation Equivariant 3D Hand Mesh Generation from a Single RGB Image [1.8692254863855962]
2次元RGB画像から3次元手メッシュを生成する回転同変モデルを開発した。
これにより、手入力画像が回転されると、生成されたメッシュが対応する回転を行うことが保証される。
論文 参考訳（メタデータ） (2021-11-25T11:07:27Z) - i3dLoc: Image-to-range Cross-domain Localization Robust to Inconsistent
Environmental Conditions [9.982307144353713]
本研究では,屋内および屋外の場面における点雲マップに対して,単一カメラのローカライズ方法を提案する。
本手法は,領域間対称な位置記述子を抽出することにより,等角形状の画像を3次元射影にマッチングすることができる。
単一のトレーニングモデルにより、i3dLocはランダムな条件下で、信頼できる視覚的ローカライゼーションを示すことができる。
論文 参考訳（メタデータ） (2021-05-27T00:13:11Z) - Equivariant Point Network for 3D Point Cloud Analysis [17.689949017410836]
点雲解析のための実効的で実用的なSE(3)(3次元翻訳と回転)同変ネットワークを提案する。
まず,6次元の畳み込みを2つの分離可能な畳み込み作用素に分解する新しい枠組みであるSE(3)分離点畳み込みを提案する。
第2に,同変特徴の表現性を効果的に活用するアテンション層を導入する。
論文 参考訳（メタデータ） (2021-03-25T21:57:10Z) - Rotation-Invariant Autoencoders for Signals on Spheres [10.406659081400354]
球面画像に対する回転不変表現の教師なし学習の問題について検討する。
特に、$S2$と$SO(3)$の畳み込み層からなるオートエンコーダアーキテクチャを設計する。
複数のデータセットの実験は、クラスタリング、検索、分類アプリケーションにおける学習された表現の有用性を示す。
論文 参考訳（メタデータ） (2020-12-08T15:15:03Z) - Generalizing Spatial Transformers to Projective Geometry with
Applications to 2D/3D Registration [11.219924013808852]
微分レンダリングは、3Dシーンと対応する2D画像とを接続する技術である。
本稿では,空間変換器を射影幾何学に一般化する新しい射影空間変換器モジュールを提案する。
論文 参考訳（メタデータ） (2020-03-24T17:26:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。