論文の概要: SCIGS: 3D Gaussians Splatting from a Snapshot Compressive Image
- arxiv url: http://arxiv.org/abs/2411.12471v1
- Date: Tue, 19 Nov 2024 12:52:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-20 13:36:32.514302
- Title: SCIGS: 3D Gaussians Splatting from a Snapshot Compressive Image
- Title（参考訳）: SCIGS、画像から3Dガウス像を撮影
- Authors: Zixu Wang, Hao Yang, Yu Guo, Fei Wang,
- Abstract要約: Snapshot Compressive Imaging (SCI)は、高速なダイナミックシーンで情報をキャプチャすることができる。
現在のディープラーニングに基づく再構築手法では,シーン内の3次元構造的整合性を維持するのに苦労している。
本稿では,3DGSの変種であるSCIGSを提案し,カメラのポーズスタンプとガウスの原始座標を埋め込みとして利用するプリミティブレベルの変換ネットワークを開発した。
- 参考スコア（独自算出の注目度）: 11.391665055835249
- License:
- Abstract: Snapshot Compressive Imaging (SCI) offers a possibility for capturing information in high-speed dynamic scenes, requiring efficient reconstruction method to recover scene information. Despite promising results, current deep learning-based and NeRF-based reconstruction methods face challenges: 1) deep learning-based reconstruction methods struggle to maintain 3D structural consistency within scenes, and 2) NeRF-based reconstruction methods still face limitations in handling dynamic scenes. To address these challenges, we propose SCIGS, a variant of 3DGS, and develop a primitive-level transformation network that utilizes camera pose stamps and Gaussian primitive coordinates as embedding vectors. This approach resolves the necessity of camera pose in vanilla 3DGS and enhances multi-view 3D structural consistency in dynamic scenes by utilizing transformed primitives. Additionally, a high-frequency filter is introduced to eliminate the artifacts generated during the transformation. The proposed SCIGS is the first to reconstruct a 3D explicit scene from a single compressed image, extending its application to dynamic 3D scenes. Experiments on both static and dynamic scenes demonstrate that SCIGS not only enhances SCI decoding but also outperforms current state-of-the-art methods in reconstructing dynamic 3D scenes from a single compressed image. The code will be made available upon publication.
- Abstract（参考訳）: Snapshot Compressive Imaging (SCI)は、高速なダイナミックシーンで情報をキャプチャする可能性を提供し、シーン情報を復元するために効率的な再構成方法を必要とする。
有望な結果にもかかわらず、現在のディープラーニングとNeRFベースの再構築手法は課題に直面している。
1)深層学習に基づく再構築手法はシーン内の3次元構造的整合性を維持するのに苦労し、
2) 動的シーンの処理において, NeRFを用いた再構成手法は依然として限界に直面している。
これらの課題に対処するため、3DGSの変種であるSCIGSを提案し、カメラポーズスタンプとガウス原始座標を埋め込みベクトルとして利用するプリミティブレベル変換ネットワークを開発した。
この手法はバニラ3DGSにおけるカメラポーズの必要性を解消し、変換プリミティブを利用することで動的シーンにおけるマルチビュー3D構造整合性を高める。
また、変換時に発生するアーティファクトを除去するために高周波フィルタを導入する。
提案したSCIGSは、単一の圧縮画像から3D明示的なシーンを再構築し、その応用をダイナミックな3Dシーンに拡張した最初のものである。
静的シーンと動的シーンの両方の実験では、SCIGSはSCIデコーディングを向上するだけでなく、単一の圧縮画像から動的3Dシーンを再構成する現在の最先端手法よりも優れていることが示されている。
コードは公開時に公開されます。
関連論文リスト
- SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes [7.590932716513324]
本稿では,3次元ガウススティング(3DGS)と物理ベースレンダリング(PBR)と変形場を組み合わせた新しいアプローチであるSpectroMotionを提案する。
論文 参考訳（メタデータ） (2024-10-22T17:59:56Z) - SurgicalGS: Dynamic 3D Gaussian Splatting for Accurate Robotic-Assisted Surgical Scene Reconstruction [18.074890506856114]
幾何学的精度を向上した手術シーン再構築のための動的3次元ガウススプレイティングフレームワークであるStagementGSを提案する。
提案手法は,まず奥行き先を用いてガウス点雲を初期化し,深度変化の大きい画素を識別するために二元運動マスクを用い,フレーム間の深度マップから点雲を融合して初期化する。
フレキシブル変形モデルを用いて動的シーンを表現し、教師なし深度スムースネス制約とともに正規化深度正規化損失を導入し、より正確な幾何再構成を実現する。
論文 参考訳（メタデータ） (2024-10-11T22:46:46Z) - SplatFields: Neural Gaussian Splats for Sparse 3D and 4D Reconstruction [24.33543853742041]
3Dガウススティング(3DGS)は実用的でスケーラブルな再構築手法として登場した。
暗黙的ニューラルネットワークの出力としてモデル化することで,スプレート特徴を効果的に正規化する最適化手法を提案する。
当社のアプローチは,異なるセットアップやシーンの複雑さをまたいだ広範なテストによって実証されるような,静的および動的ケースを効果的に処理する。
論文 参考訳（メタデータ） (2024-09-17T14:04:20Z) - Free-DyGS: Camera-Pose-Free Scene Reconstruction based on Gaussian Splatting for Dynamic Surgical Videos [12.199333372665373]
本稿では,ダイナミックな手術ビデオに適したカメラレスシーン再構築フレームワークであるFree-DyGSについて述べる。
提案手法では,フレーム・バイ・フレームの再構築戦略を採用し,4つの段階に展開する。
実験は、Free-DyGSが従来のベースラインモデルを超え、忠実度と計算効率の両方をレンダリングすることを示した。
論文 参考訳（メタデータ） (2024-09-02T07:28:14Z) - Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。
ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。
提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
論文 参考訳（メタデータ） (2024-07-30T15:33:58Z) - Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。
シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。
本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-07-18T17:59:08Z) - Event3DGS: Event-Based 3D Gaussian Splatting for High-Speed Robot Egomotion [54.197343533492486]
Event3DGSは高速移動下で高忠実度3D構造と外観を再構築することができる。
複数の合成および実世界のデータセットの実験は、既存のイベントベースの高密度な3Dシーン再構築フレームワークと比較して、Event3DGSの優位性を示している。
また, 構造的精度を損なうことなく, 外観の忠実度をより高められるように, フレームベースで数回の動特性測定を再構成プロセスに組み込むことも可能である。
論文 参考訳（メタデータ） (2024-06-05T06:06:03Z) - SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。
SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
論文 参考訳（メタデータ） (2024-04-29T23:26:30Z) - SCINeRF: Neural Radiance Fields from a Snapshot Compressive Image [19.58894449169074]
Snapshot Compressive Imaging (SCI) 技術は、1つの時間圧縮画像から基礎となる3次元シーン表現を復元する。
神経放射場(NeRF)の訓練の一環としてSCIの物理的イメージング過程を定式化する。
提案手法は、画像再構成と新しいビュー画像合成の観点から、最先端の手法を超越した手法である。
論文 参考訳（メタデータ） (2024-03-29T07:14:14Z) - Differentiable Blocks World: Qualitative 3D Decomposition by Rendering
Primitives [70.32817882783608]
本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。
既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。
得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
論文 参考訳（メタデータ） (2023-07-11T17:58:31Z) - Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model [76.64071133839862]
モノクロRGBビデオから一般的なデフォーミングシーンをキャプチャすることは、多くのコンピュータグラフィックスや視覚アプリケーションにとって不可欠である。
提案手法であるUb4Dは、大きな変形を処理し、閉塞領域での形状補完を行い、可変ボリュームレンダリングを用いて、単眼のRGBビデオを直接操作することができる。
我々の新しいデータセットの結果は公開され、表面の復元精度と大きな変形に対する堅牢性の観点から、技術の現状が明らかに改善されていることを実証する。
論文 参考訳（メタデータ） (2022-06-16T17:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。