論文の概要: Distractor-free Generalizable 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2411.17605v2
- Date: Mon, 02 Jun 2025 05:22:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-03 16:22:42.890633
- Title: Distractor-free Generalizable 3D Gaussian Splatting
- Title(参考訳): ディトラクタフリー一般化可能な3次元ガウススプラッティング
- Authors: Yanqi Bao, Jing Liao, Jing Huo, Yang Gao,
- Abstract要約: DGGSは、未発見の課題に対処する新しいフレームワークである。 $textbfDistractor-free Generalizable 3D Gaussian Splatting$ (3DGS)。
クロスシーンの一般化可能な列車設定におけるトラクタデータによる3次元不整合とトレーニング不安定性を緩和する。
我々の一般化可能なマスク予測は、既存のシーン固有の訓練方法よりも精度が高い。
- 参考スコア(独自算出の注目度): 26.762275313390194
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present DGGS, a novel framework that addresses the previously unexplored challenge: $\textbf{Distractor-free Generalizable 3D Gaussian Splatting}$ (3DGS). It mitigates 3D inconsistency and training instability caused by distractor data in the cross-scenes generalizable train setting while enabling feedforward inference for 3DGS and distractor masks from references in the unseen scenes. To achieve these objectives, DGGS proposes a scene-agnostic reference-based mask prediction and refinement module during the training phase, effectively eliminating the impact of distractor on training stability. Moreover, we combat distractor-induced artifacts and holes at inference time through a novel two-stage inference framework for references scoring and re-selection, complemented by a distractor pruning mechanism that further removes residual distractor 3DGS-primitive influences. Extensive feedforward experiments on the real and our synthetic data show DGGS's reconstruction capability when dealing with novel distractor scenes. Moreover, our generalizable mask prediction even achieves an accuracy superior to existing scene-specific training methods. Homepage is https://github.com/bbbbby-99/DGGS.
- Abstract(参考訳): DGGSは、未発見の課題に対処する新しいフレームワークである: $\textbf{Distractor-free Generalizable 3D Gaussian Splatting}$ (3DGS)。
3DGSとイントラクタマスクのフィードフォワード推論を可能にしつつ、クロスシーンの一般化可能な列車設定におけるイントラクタデータによる3Dの不整合とトレーニング不安定を解消する。
これらの目的を達成するため、DGGSはトレーニングフェーズ中にシーンに依存しない参照ベースのマスク予測と改善モジュールを提案し、トレーニング安定性に対するイントラクタの影響を効果的に排除した。
さらに,2段階の参照と再選択のための新たな2段階の推論フレームワークを通じて,イントラクタ誘導によるアーティファクトやホールを推論時に対処し,さらに残留イントラクタ3DGSのプリミティブな影響を除去するイントラクタ・プルーニング機構を補完する。
実物および合成データに対する広範囲なフィードフォワード実験は、新規な散逸シーンを扱う際のDGGSの再構成能力を示している。
さらに,我々の一般化可能なマスク予測は,既存のシーン固有のトレーニング手法よりも精度が高い。
ホームページはhttps://github.com/bbbbby-99/DGGS。
関連論文リスト
- A Lesson in Splats: Teacher-Guided Diffusion for 3D Gaussian Splats Generation with 2D Supervision [65.33043028101471]
本研究では,ガウスプレートの拡散モデルであるSplatDiffusionを導入し,単一画像から3次元構造を生成する。
既存の方法は決定論的フィードフォワード予測に依存しており、2Dデータからの3D推論の本質的な曖昧さを扱う能力を制限する。
論文 参考訳(メタデータ) (2024-12-01T00:29:57Z) - Robust 3D Gaussian Splatting for Novel View Synthesis in Presence of Distractors [44.55317154371679]
3D Gaussian Splattingは素晴らしいビュー合成結果を示している。
静的なシーンの入力データを汚染する動的オブジェクトに対して脆弱である。
提案手法は,多種多様な気晴らしに対して堅牢であり,気晴らしシーンのレンダリング品質を著しく向上することを示す。
論文 参考訳(メタデータ) (2024-08-21T15:21:27Z) - UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。
我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
論文 参考訳(メタデータ) (2024-07-26T20:51:54Z) - DPO: Dual-Perturbation Optimization for Test-time Adaptation in 3D Object Detection [34.04061546178302]
実世界での3D検出器のトレーニングは、テストデータの分布がトレーニングデータから著しくずれたときに、しばしば不満足なパフォーマンスをもたらす。
我々は,textbfunderlineTest-underlinetime underlineAdaptation in Underline3Dに対して,textbfdual-perturbation Optimization (DPO)を提案する。
我々は、平らなロスランドスケープを育むためのシャープさを最小限に抑え、小さなデータバリエーションに対するモデルレジリエンスを確保する。
論文 参考訳(メタデータ) (2024-06-19T23:46:08Z) - DPMesh: Exploiting Diffusion Prior for Occluded Human Mesh Recovery [71.6345505427213]
DPMeshは、人間のメッシュリカバリを排除した革新的なフレームワークである。
これは、事前訓練されたテキスト・ツー・イメージ拡散モデルに埋め込まれた対象構造と空間的関係について、より深い拡散に乗じる。
論文 参考訳(メタデータ) (2024-04-01T18:59:13Z) - 2D Feature Distillation for Weakly- and Semi-Supervised 3D Semantic
Segmentation [92.17700318483745]
合成訓練された2Dセマンティックセマンティックセグメンテーションネットワークから高レベル特徴情報を蒸留するアイデアに基づく画像誘導ネットワーク(IGNet)を提案する。
IGNetは、ScribbleKITTI上の弱い教師付きLiDARセマンティックセマンティックセグメンテーションの最先端の結果を達成し、8%のラベル付きポイントしか持たない完全な教師付きトレーニングに対して最大98%のパフォーマンスを誇っている。
論文 参考訳(メタデータ) (2023-11-27T07:57:29Z) - ODM3D: Alleviating Foreground Sparsity for Semi-Supervised Monocular 3D
Object Detection [15.204935788297226]
ODM3Dフレームワークは、トレーニング中にLiDARドメインの知識を単分子検出器に注入するために、様々なレベルでのクロスモーダルな知識蒸留を必要とする。
既存手法の準最適トレーニングの主要因として,前景の空間空間を同定することにより,LiDAR点に埋め込まれた正確な位置化情報を活用する。
KITTI検証とテストベンチマークの両方で1位にランクインし、教師付きまたは半教師付きである既存のモノクラー手法をはるかに上回っている。
論文 参考訳(メタデータ) (2023-10-28T07:12:09Z) - DQS3D: Densely-matched Quantization-aware Semi-supervised 3D Detection [6.096961718434965]
本研究では,3次元屋内空間の散在を考慮し,半教師付き3次元物体検出の課題について検討する。
我々は,最近セミ教師付き学習の顕著な進歩を招いた,堅牢で原則化された自己学習の枠組みに頼っている。
そこで本研究では,空間的に密集したトレーニング信号を可能にする,最初の半教師付き3次元検出アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-25T17:59:54Z) - Augment and Criticize: Exploring Informative Samples for Semi-Supervised
Monocular 3D Object Detection [64.65563422852568]
我々は、一般的な半教師付きフレームワークを用いて、難解な単分子3次元物体検出問題を改善する。
我々は、ラベルのないデータから豊富な情報的サンプルを探索する、新しい、シンプルで効果的なAugment and Criticize'フレームワークを紹介します。
3DSeMo_DLEと3DSeMo_FLEXと呼ばれる2つの新しい検出器は、KITTIのAP_3D/BEV(Easy)を3.5%以上改善した。
論文 参考訳(メタデータ) (2023-03-20T16:28:15Z) - Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose
Estimation [70.32536356351706]
本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。
ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。
本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
論文 参考訳(メタデータ) (2022-03-29T07:14:58Z) - The KFIoU Loss for Rotated Object Detection [115.334070064346]
本稿では,SkewIoU損失とトレンドレベルアライメントを両立できる近似的損失を考案する上で,有効な方法の1つとして論じる。
具体的には、対象をガウス分布としてモデル化し、SkewIoUのメカニズムを本質的に模倣するためにカルマンフィルタを採用する。
KFIoUと呼ばれる新たな損失は実装が容易で、正確なSkewIoUよりもうまく動作する。
論文 参考訳(メタデータ) (2022-01-29T10:54:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。