論文の概要: LeanGaussian: Breaking Pixel or Point Cloud Correspondence in Modeling 3D Gaussians

• arxiv url: http://arxiv.org/abs/2404.16323v2
• Date: Mon, 02 Dec 2024 03:11:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 20:23:00.309400
• Title: LeanGaussian: Breaking Pixel or Point Cloud Correspondence in Modeling 3D Gaussians
• Title（参考訳）: LeanGaussian: 3Dガウスのモデリングにおいて,ピクセルあるいはポイントクラウド対応を破る
• Authors: Jiamin Wu, Kenkun Liu, Han Gao, Xiaoke Jiang, Lei Zhang,
• Abstract要約: 変形可能なトランスフォーマーにおける各クエリを1つの3次元ガウス楕円体として扱う新しいアプローチであるLeanGaussianを紹介する。 変形可能なデコーダを用いて、画像特徴をキーと値として、ガウス層を反復的に洗練する。 提案手法は従来の手法よりも約6.1%優れ,PSNRは25.44,PSNRは22.36であった。
• 参考スコア（独自算出の注目度）: 12.408610403423559
• License:
• Abstract: Rencently, Gaussian splatting has demonstrated significant success in novel view synthesis. Current methods often regress Gaussians with pixel or point cloud correspondence, linking each Gaussian with a pixel or a 3D point. This leads to the redundancy of Gaussians being used to overfit the correspondence rather than the objects represented by the 3D Gaussians themselves, consequently wasting resources and lacking accurate geometries or textures. In this paper, we introduce LeanGaussian, a novel approach that treats each query in deformable Transformer as one 3D Gaussian ellipsoid, breaking the pixel or point cloud correspondence constraints. We leverage deformable decoder to iteratively refine the Gaussians layer-by-layer with the image features as keys and values. Notably, the center of each 3D Gaussian is defined as 3D reference points, which are then projected onto the image for deformable attention in 2D space. On both the ShapeNet SRN dataset (category level) and the Google Scanned Objects dataset (open-category level, trained with the Objaverse dataset), our approach, outperforms prior methods by approximately 6.1\%, achieving a PSNR of 25.44 and 22.36, respectively. Additionally, our method achieves a 3D reconstruction speed of 7.2 FPS and rendering speed 500 FPS. The code will be released at https://github.com/jwubz123/DIG3D.
• Abstract（参考訳）: 突如として、ガウスのスプラッティングは、新しい視点合成において大きな成功を収めた。 現在の手法では、ガウスをピクセルまたは点雲の対応で補強し、各ガウスをピクセルまたは3D点にリンクすることが多い。 これにより、ガウスの冗長性は、3Dガウス自身で表される対象よりも対応に過度に適合し、結果として資源を浪費し、正確な測地やテクスチャを欠いている。 本稿では,変形可能なトランスフォーマーにおける各クエリを1つの3次元ガウス楕円体として扱い,画素あるいは点雲の対応制約を破る新しいアプローチであるLeanGaussianを紹介する。 変形可能なデコーダを用いて、画像特徴をキーと値として、ガウス層を反復的に洗練する。 特に、各3Dガウスの中心は3D参照点として定義され、2D空間における変形可能な注意のために画像上に投影される。 ShapeNet SRNデータセット(カテゴリレベル)とGoogle Scanned Objectsデータセット(Objaverseデータセットでトレーニングされたオープンカテゴリレベル)の両方で、我々のアプローチは、それぞれ25.44と22.36のPSNRを達成し、事前メソッドを約6.1\%上回る。 さらに,3次元再構成速度7.2FPS,レンダリング速度500FPSを実現した。 コードはhttps://github.com/jwubz123/DIG3Dでリリースされる。

関連論文リスト

• Textured Gaussians for Enhanced 3D Scene Appearance Modeling [58.134905268540436]
  3D Gaussian Splatting (3DGS)は最先端の3D再構成およびレンダリング技術として登場した。 本稿では,それぞれにα(A), RGB, RGBAテクスチャマップを付加した一般化されたガウスの外観表現を提案する。 類似または少ないガウス数を用いて,既存の手法に比べて画質が向上したことを示す。
  論文  参考訳（メタデータ） (2024-11-27T18:59:59Z)
• Effective Rank Analysis and Regularization for Enhanced 3D Gaussian Splatting [33.01987451251659]
  3D Gaussian Splatting(3DGS)は、高品質な3D再構成によるリアルタイムレンダリングが可能な有望な技術として登場した。 その可能性にもかかわらず、3DGSは針状アーティファクト、準最適ジオメトリー、不正確な正常といった課題に遭遇する。 正規化として有効ランクを導入し、ガウスの構造を制約する。
  論文  参考訳（メタデータ） (2024-06-17T15:51:59Z)
• PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
  本研究では,視覚的忠実度と前景の細部を高い圧縮比で保持する原理的感度プルーニングスコアを提案する。 また,トレーニングパイプラインを変更することなく,事前訓練した任意の3D-GSモデルに適用可能な複数ラウンドプルーファインパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-14T17:53:55Z)
• GSGAN: Adversarial Learning for Hierarchical Generation of 3D Gaussian Splats [20.833116566243408]
  本稿では,Gaussianを3D GANの3次元表現として利用し,その効率的かつ明示的な特徴を活用する。 生成したガウスの位置とスケールを効果的に正規化する階層的多スケールガウス表現を持つジェネレータアーキテクチャを導入する。 実験結果から,最先端の3D一貫したGANと比較して,レンダリング速度(x100)が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2024-06-05T05:52:20Z)
• GaussianFormer: Scene as Gaussians for Vision-Based 3D Semantic Occupancy Prediction [70.65250036489128]
  3Dのセマンティック占有予測は,周囲のシーンの3Dの微細な形状とセマンティックスを得ることを目的としている。 本稿では,3Dシーンを3Dセマンティック・ガウシアンで表現するオブジェクト中心表現を提案する。 GaussianFormerは17.8%から24.8%のメモリ消費しか持たない最先端のメソッドで同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-27T17:59:51Z)
• Identifying Unnecessary 3D Gaussians using Clustering for Fast Rendering of 3D Gaussian Splatting [2.878831747437321]
  3D-GSは、速度と画質の両方においてニューラル放射場(NeRF)を上回った新しいレンダリングアプローチである。 本研究では,現在のビューをレンダリングするために,不要な3次元ガウスをリアルタイムに識別する計算量削減手法を提案する。 Mip-NeRF360データセットの場合、提案手法は2次元画像投影の前に平均して3次元ガウスの63%を排除し、ピーク信号対雑音比(PSNR)を犠牲にすることなく全体のレンダリングを約38.3%削減する。 提案されたアクセラレータは、GPUと比較して10.7倍のスピードアップも達成している。
  論文  参考訳（メタデータ） (2024-02-21T14:16:49Z)
• GaussianObject: High-Quality 3D Object Reconstruction from Four Views with Gaussian Splatting [82.29476781526752]
  高度にスパースな視点から3Dオブジェクトを再構成・レンダリングすることは、3Dビジョン技術の応用を促進する上で非常に重要である。 GaussianObjectは、Gaussian splattingで3Dオブジェクトを表現してレンダリングするフレームワークで、4つの入力イメージだけで高いレンダリング品質を実現する。 GaussianObjectは、MipNeRF360、OmniObject3D、OpenIllumination、および私たちが収集した未提示画像など、いくつかの挑戦的なデータセットで評価されている。
  論文  参考訳（メタデータ） (2024-02-15T18:42:33Z)
• AGG: Amortized Generative 3D Gaussians for Single Image to 3D [108.38567665695027]
  Amortized Generative 3D Gaussian framework (AGG) を導入する。 AGGは、共同最適化のための3Dガウス位置およびその他の外観特性の生成を分解する。 本稿では,まず3次元データの粗い表現を生成し,後に3次元ガウス超解像モジュールでアップサンプリングするカスケードパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-01-08T18:56:33Z)
• Gaussian Grouping: Segment and Edit Anything in 3D Scenes [65.49196142146292]
  ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。 暗黙のNeRF表現と比較すると,グループ化された3次元ガウシアンは,高画質,微粒度,高効率で,あらゆるものを3次元で再構成,分割,編集することができる。
  論文  参考訳（メタデータ） (2023-12-01T17:09:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。