論文の概要: RIGI: Rectifying Image-to-3D Generation Inconsistency via Uncertainty-aware Learning

• arxiv url: http://arxiv.org/abs/2411.18866v1
• Date: Thu, 28 Nov 2024 02:19:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:20:22.162679
• Title: RIGI: Rectifying Image-to-3D Generation Inconsistency via Uncertainty-aware Learning
• Title（参考訳）: RIGI:不確実性認識学習による画像から3次元生成の不整合の是正
• Authors: Jiacheng Wang, Zhedong Zheng, Wei Xu, Ping Liu,
• Abstract要約: マルチビュースナップショットの不整合は、しばしばオブジェクト境界に沿ってノイズやアーティファクトを導入し、3D再構成プロセスを損なう。 3次元ガウススプラッティング(3DGS)を3次元再構成に利用し,不確実性認識学習を再現プロセスに統合する。 適応的な画素単位の損失重み付けを適用してモデルを正規化し、不確実領域における再構成強度を低減させる。
• 参考スコア（独自算出の注目度）: 27.4552892119823
• License:
• Abstract: Given a single image of a target object, image-to-3D generation aims to reconstruct its texture and geometric shape. Recent methods often utilize intermediate media, such as multi-view images or videos, to bridge the gap between input image and the 3D target, thereby guiding the generation of both shape and texture. However, inconsistencies in the generated multi-view snapshots frequently introduce noise and artifacts along object boundaries, undermining the 3D reconstruction process. To address this challenge, we leverage 3D Gaussian Splatting (3DGS) for 3D reconstruction, and explicitly integrate uncertainty-aware learning into the reconstruction process. By capturing the stochasticity between two Gaussian models, we estimate an uncertainty map, which is subsequently used for uncertainty-aware regularization to rectify the impact of inconsistencies. Specifically, we optimize both Gaussian models simultaneously, calculating the uncertainty map by evaluating the discrepancies between rendered images from identical viewpoints. Based on the uncertainty map, we apply adaptive pixel-wise loss weighting to regularize the models, reducing reconstruction intensity in high-uncertainty regions. This approach dynamically detects and mitigates conflicts in multi-view labels, leading to smoother results and effectively reducing artifacts. Extensive experiments show the effectiveness of our method in improving 3D generation quality by reducing inconsistencies and artifacts.
• Abstract（参考訳）: 対象物の1つの画像が与えられた場合、画像から3Dまでの生成はそのテクスチャと幾何学的形状を再構築することを目的としている。 近年の手法では、多視点画像やビデオなどの中間媒体を用いて入力画像と3Dターゲットのギャップを埋め、形状とテクスチャの両方の生成を導く。 しかし、生成されたマルチビュースナップショットの不整合は、しばしばオブジェクト境界に沿ってノイズやアーティファクトを導入し、3D再構成プロセスを損なう。 この課題に対処するために,3次元ガウススプラッティング(3DGS)を3次元再構成に適用し,不確実性を考慮した学習を再構築プロセスに統合する。 2つのガウスモデル間の確率性を捉えることにより、不確実性マップを推定し、不整合の影響を是正するために不確実性認識正則化に使用する。 具体的には、両ガウスモデルを同時に最適化し、同一視点からレンダリングされた画像間の相違性を評価することによって不確実性マップを計算する。 不確実性マップに基づいて、適応画素単位の損失重み付けを適用してモデルを正規化し、不確実領域における再構成強度を低減させる。 このアプローチは、マルチビューラベルの競合を動的に検出し緩和し、よりスムーズな結果をもたらし、アーティファクトを効果的に削減する。 大規模な実験により,不整合やアーティファクトの低減による3次元生成品質の向上効果が示された。

関連論文リスト

• DSplats: 3D Generation by Denoising Splats-Based Multiview Diffusion Models [67.50989119438508]
  本稿では,ガウスをベースとしたレコンストラクタを用いて,リアルな3Dアセットを生成することで,マルチビュー画像を直接認識するDSplatを紹介した。 実験の結果,DSplatsは高品質で空間的に一貫した出力を生成できるだけでなく,単一画像から3次元再構成への新たな標準も設定できることがわかった。
  論文  参考訳（メタデータ） (2024-12-11T07:32:17Z)
• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
  単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。 3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。 本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:14:11Z)
• R3D-AD: Reconstruction via Diffusion for 3D Anomaly Detection [12.207437451118036]
  3次元異常検出は、精密製造における局所固有の欠陥のモニタリングにおいて重要な役割を担っている。 埋め込みベースおよび再構築ベースのアプローチは、最も人気があり、成功した方法の一つである。 本稿では, 高精度な3次元異常検出のための拡散モデルにより, 異常点雲を再構成するR3D-ADを提案する。
  論文  参考訳（メタデータ） (2024-07-15T16:10:58Z)
• Personalized 3D Human Pose and Shape Refinement [19.082329060985455]
  回帰に基づく手法は3次元人間のポーズと形状推定の分野を支配してきた。 本稿では,初期人間のモデル推定値と対応する画像との密接な対応性を構築することを提案する。 提案手法は画像モデルアライメントの改善だけでなく,3次元精度の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-03-18T10:13:53Z)
• 3D shape reconstruction of semi-transparent worms [0.950214811819847]
  3D形状の再構成は通常、被写体の複数の画像に物体の特徴やテクスチャを特定する必要がある。 ここでは、画像と比較するために、適応的ぼかしと透明度で候補形状を描画することで、これらの課題を克服する。 本研究は,線虫類の細いカエノルハブディティ・エレガンスを,生物学的にインフォームドされた制約や規則化を自然に許容する内在的パラメトリションを用いて3次元曲線としてモデル化する。
  論文  参考訳（メタデータ） (2023-04-28T13:29:36Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
  カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。 表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
  論文  参考訳（メタデータ） (2022-05-14T05:35:35Z)
• Differentiable Rendering with Perturbed Optimizers [85.66675707599782]
  2Dイメージプロジェクションから3Dシーンを推論することは、コンピュータビジョンにおける中核的な問題の一つだ。 我々の研究は、よく知られた微分可能な定式化とランダムなスムーズなレンダリングの関連性を強調している。 提案手法を3次元シーン再構成に適用し,その利点を6次元ポーズ推定と3次元メッシュ再構成の課題に適用した。
  論文  参考訳（メタデータ） (2021-10-18T08:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。