論文の概要: InfoGaussian: Structure-Aware Dynamic Gaussians through Lightweight Information Shaping
- arxiv url: http://arxiv.org/abs/2406.05897v1
- Date: Sun, 9 Jun 2024 19:33:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 17:28:18.749705
- Title: InfoGaussian: Structure-Aware Dynamic Gaussians through Lightweight Information Shaping
- Title（参考訳）: InfoGaussian:軽量情報形成による動的ガウシアンの構造認識
- Authors: Yunchao Zhang, Guandao Yang, Leonidas Guibas, Yanchao Yang,
- Abstract要約: 本研究では,運動ネットワークにおける相関ガウス間の移動共鳴を強制する手法を開発した。
動作ネットワークを形作るための軽量な最適化を施した効率的なコントラスト訓練パイプラインを開発する。
提案手法は,挑戦的な場面で評価し,大幅な性能向上を示す。
- 参考スコア（独自算出の注目度）: 9.703830846219441
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: 3D Gaussians, as a low-level scene representation, typically involve thousands to millions of Gaussians. This makes it difficult to control the scene in ways that reflect the underlying dynamic structure, where the number of independent entities is typically much smaller. In particular, it can be challenging to animate and move objects in the scene, which requires coordination among many Gaussians. To address this issue, we develop a mutual information shaping technique that enforces movement resonance between correlated Gaussians in a motion network. Such correlations can be learned from putative 2D object masks in different views. By approximating the mutual information with the Jacobians of the motions, our method ensures consistent movements of the Gaussians composing different objects under various perturbations. In particular, we develop an efficient contrastive training pipeline with lightweight optimization to shape the motion network, avoiding the need for re-shaping throughout the motion sequence. Notably, our training only touches a small fraction of all Gaussians in the scene yet attains the desired compositional behavior according to the underlying dynamic structure. The proposed technique is evaluated on challenging scenes and demonstrates significant performance improvement in promoting consistent movements and 3D object segmentation while inducing low computation and memory requirements.
- Abstract（参考訳）: 3Dガウス人は、低レベルなシーンの表現として、一般的に数千から数百万のガウスを巻き込む。
これにより、独立したエンティティの数が典型的にはるかに少ない、基礎となる動的構造を反映する方法でシーンを制御するのが難しくなる。
特に、シーン内のオブジェクトをアニメーション化し、移動させることは困難であり、多くのガウス人との協調が必要である。
この問題に対処するため,我々は,移動ネットワークにおける相関ガウス間の移動共鳴を強制する相互情報形成手法を開発した。
このような相関関係は、異なる視点の2Dオブジェクトマスクから学習することができる。
運動のジャコビアンと相互情報を近似することにより、様々な摂動の下で異なる物体を構成するガウス人の一貫した動きを保証できる。
特に、動作ネットワークを形作るための軽量な最適化を施した効率的なコントラスト訓練パイプラインを開発し、動作シーケンス全体を通して再形成する必要がなくなる。
特に、我々のトレーニングはシーン内の全てのガウスのごく一部にしか触れていないが、基礎となる動的構造に従って所望の組成的挙動を達成している。
提案手法は難解な場面で評価され,低計算とメモリ要求を誘導しながら,一貫した動きと3次元オブジェクトセグメンテーションを促進する上で,大幅な性能向上を示す。
関連論文リスト
- MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting [56.785233997533794]
我々はMotionGSと呼ばれる新しい変形可能な3次元ガウススプレイティングフレームワークを提案する。
MotionGSは3Dガウスの変形を導くために、前もって明示的な動きを探索する。
モノラルなダイナミックシーンの実験では、MotionGSが最先端の手法を超越していることが確認された。
論文 参考訳（メタデータ） (2024-10-10T08:19:47Z) - Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos [58.22272760132996]
既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。
単分子配置の難易度を目標とした3つのコア修正からなる動的ガウス大理石を提案する。
Nvidia Dynamic ScenesデータセットとDyCheck iPhoneデータセットを評価し,Gaussian Marblesが他のGaussianベースラインを著しく上回っていることを示す。
論文 参考訳（メタデータ） (2024-06-26T19:37:07Z) - HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。
我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。
提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
論文 参考訳（メタデータ） (2024-03-19T13:39:05Z) - SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。
本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。
提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
論文 参考訳（メタデータ） (2023-12-04T11:57:14Z) - DynMF: Neural Motion Factorization for Real-time Dynamic View Synthesis
with 3D Gaussian Splatting [35.69069478773709]
動的シーンの点当たりの運動は、明示的あるいは学習的な軌跡の小さなセットに分解することができると論じる。
我々の表現は解釈可能であり、効率的であり、複雑な動的シーンの動きのリアルタイムなビュー合成を提供するのに十分な表現力を持っている。
論文 参考訳（メタデータ） (2023-11-30T18:59:11Z) - Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。
我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。
我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
論文 参考訳（メタデータ） (2023-08-18T17:59:21Z) - Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。
2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。
本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
論文 参考訳（メタデータ） (2021-01-11T04:20:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。