論文の概要: Single-View 3D Reconstruction via SO(2)-Equivariant Gaussian Sculpting Networks
- arxiv url: http://arxiv.org/abs/2409.07245v1
- Date: Wed, 11 Sep 2024 13:01:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 14:35:46.038392
- Title: Single-View 3D Reconstruction via SO(2)-Equivariant Gaussian Sculpting Networks
- Title(参考訳): SO(2)-Equivariant Gaussian Sculpting Networksによる一視点3D再構成
- Authors: Ruihan Xu, Anthony Opipari, Joshua Mah, Stanley Lewis, Haoran Zhang, Hanzhe Guo, Odest Chadwicke Jenkins,
- Abstract要約: 我々は,SO(2)-同変ガウス彫刻ネットワーク(GSNs)を,一視点画像観測によるSO(2)-同変3Dオブジェクト再構成のアプローチとして導入する。
GSNは入力として単一の観測を行い、観測対象の幾何学とテクスチャを記述するガウススプラット表現を生成する。
実験により、GSNは多視点レンダリング損失を用いて効率的に訓練でき、高い拡散に基づく再構成アルゴリズムを用いて、高品質で競争力があることが示された。
- 参考スコア(独自算出の注目度): 19.096958968369744
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper introduces SO(2)-Equivariant Gaussian Sculpting Networks (GSNs) as an approach for SO(2)-Equivariant 3D object reconstruction from single-view image observations. GSNs take a single observation as input to generate a Gaussian splat representation describing the observed object's geometry and texture. By using a shared feature extractor before decoding Gaussian colors, covariances, positions, and opacities, GSNs achieve extremely high throughput (>150FPS). Experiments demonstrate that GSNs can be trained efficiently using a multi-view rendering loss and are competitive, in quality, with expensive diffusion-based reconstruction algorithms. The GSN model is validated on multiple benchmark experiments. Moreover, we demonstrate the potential for GSNs to be used within a robotic manipulation pipeline for object-centric grasping.
- Abstract(参考訳): 本稿では,SO(2)-Equivariant Gaussian Sculpting Networks (GSNs) について,一視点画像観測によるSO(2)-Equivariant 3Dオブジェクト再構成のアプローチとして紹介する。
GSNは入力として単一の観測を行い、観測対象の幾何学とテクスチャを記述するガウススプラット表現を生成する。
ガウス色、共分散、位置、不透明度を復号する前に共有特徴抽出器を使用することで、GSNは極めて高いスループット(>150FPS)を達成する。
実験により、GSNは多視点レンダリング損失を用いて効率的に訓練でき、高い拡散に基づく再構成アルゴリズムを用いて、高品質で競争力があることが示された。
GSNモデルは、複数のベンチマーク実験で検証される。
さらに,物体中心の把握のために,ロボット操作パイプライン内でGSNを使用する可能性を示す。
関連論文リスト
- LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。
実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
論文 参考訳(メタデータ) (2024-05-29T05:58:34Z) - MVSGaussian: Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo [54.00987996368157]
MVSGaussianは、Multi-View Stereo(MVS)から導かれる新しい一般化可能な3次元ガウス表現手法である。
MVSGaussianは、シーンごとにより良い合成品質でリアルタイムレンダリングを実現する。
論文 参考訳(メタデータ) (2024-05-20T17:59:30Z) - CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians [18.42203035154126]
2次元画像空間で制御できる構造付きガウス表現を導入する。
次に、ガウス群、特にその位置を制約し、最適化中に独立に動くのを防ぐ。
我々は,様々な場面における最先端のスパースビュー NeRF ベースのアプローチと比較して,顕著な改善を示した。
論文 参考訳(メタデータ) (2024-03-28T15:27:13Z) - latentSplat: Autoencoding Variational Gaussians for Fast Generalizable 3D Reconstruction [48.86083272054711]
latentSplatは3D潜在空間における意味ガウスを予測し、軽量な生成型2Dアーキテクチャで切り落としてデコードする手法である。
latentSplatは、高速でスケーラブルで高解像度なデータでありながら、復元品質と一般化におけるこれまでの成果よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-03-24T20:48:36Z) - GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。
周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
論文 参考訳(メタデータ) (2024-02-15T17:32:50Z) - GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting [11.791944275269266]
メッシュと同じようにガウス成分を修正可能なガウスメッシュスプラッティング(GaMeS)モデルを導入する。
また、メッシュ上の位置のみに基づいてガウススプレートを定義し、アニメーション中の位置、スケール、回転を自動的に調整する。
論文 参考訳(メタデータ) (2024-02-02T14:50:23Z) - cDVGAN: One Flexible Model for Multi-class Gravitational Wave Signal and Glitch Generation [0.7853804618032806]
本稿では,複数の時間領域観測のクラスをシミュレートする手法として,ジェネレーティブ・アドリアック・ネットワーク・フレームワークに新しい条件モデルを提案する。
提案したcDVGANは,3つのクラスの特徴を再現する4種類のベースラインGANモデルより優れている。
実験の結果,cDVGAN生成データによる畳み込みニューラルネットワークのトレーニングにより,検出器ノイズに埋め込まれたサンプルの検出が向上することがわかった。
論文 参考訳(メタデータ) (2024-01-29T17:59:26Z) - Deep Graph Neural Networks via Flexible Subgraph Aggregation [50.034313206471694]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習し、近隣情報を集約することでノードの表現を学ぶ。
本稿では,サブグラフアグリゲーションの観点から,GNNの表現力を評価する。
サブグラフアグリゲーションの異なるホップをより柔軟に活用できるサンプリングベースノードレベル残余モジュール(SNR)を提案する。
論文 参考訳(メタデータ) (2023-05-09T12:03:42Z) - Gradient-based Wang-Landau Algorithm: A Novel Sampler for Output
Distribution of Neural Networks over the Input Space [20.60516313062773]
本稿では,グラディエントをベースとした新しい Wang-Landau (GWL) サンプリング手法を提案する。
まず、NNの出力分布と物理系の状態密度(DOS)との接続を描画する。
そこで我々は,そのランダムな提案を勾配に基づくモンテカルロ提案に置き換えることにより,DOS問題の古典的なサンプリングアルゴリズムであるワン・ランダウアルゴリズムを再構築する。
論文 参考訳(メタデータ) (2023-02-19T05:42:30Z) - A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。
本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。
UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
論文 参考訳(メタデータ) (2020-10-05T04:57:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。