論文の概要: Feature Splatting: Language-Driven Physics-Based Scene Synthesis and Editing

• arxiv url: http://arxiv.org/abs/2404.01223v1
• Date: Mon, 1 Apr 2024 16:31:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 21:46:03.129314
• Title: Feature Splatting: Language-Driven Physics-Based Scene Synthesis and Editing
• Title（参考訳）: 特徴スプラッティング:言語駆動物理に基づくシーン合成と編集
• Authors: Ri-Zhao Qiu, Ge Yang, Weijia Zeng, Xiaolong Wang,
• Abstract要約: 物理に基づく動的シーン合成をリッチなセマンティクスと統合する手法であるFeature Splattingを導入する。 私たちの最初の貢献は、高品質でオブジェクト中心の視覚言語機能を3Dガウスに抽出する方法です。 2つ目の貢献は、粒子ベースのシミュレーターを用いて、他の静的シーンから物理ベースのダイナミクスを合成する方法である。
• 参考スコア（独自算出の注目度）: 11.46530458561589
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scene representations using 3D Gaussian primitives have produced excellent results in modeling the appearance of static and dynamic 3D scenes. Many graphics applications, however, demand the ability to manipulate both the appearance and the physical properties of objects. We introduce Feature Splatting, an approach that unifies physics-based dynamic scene synthesis with rich semantics from vision language foundation models that are grounded by natural language. Our first contribution is a way to distill high-quality, object-centric vision-language features into 3D Gaussians, that enables semi-automatic scene decomposition using text queries. Our second contribution is a way to synthesize physics-based dynamics from an otherwise static scene using a particle-based simulator, in which material properties are assigned automatically via text queries. We ablate key techniques used in this pipeline, to illustrate the challenge and opportunities in using feature-carrying 3D Gaussians as a unified format for appearance, geometry, material properties and semantics grounded on natural language. Project website: https://feature-splatting.github.io/
• Abstract（参考訳）: 3Dガウスプリミティブを用いたシーン表現は、静的および動的3Dシーンの外観をモデル化する上で優れた結果をもたらした。 しかし、多くのグラフィックスアプリケーションは、オブジェクトの外観と物理的特性の両方を操作できることを要求する。 本稿では,物理に基づく動的シーン合成を,自然言語を基盤とした視覚言語基盤モデルからリッチなセマンティクスと統合する手法であるFeature Splattingを紹介する。 最初のコントリビューションは、高品質でオブジェクト中心の視覚言語機能を3Dガウスアンに蒸留する方法です。 第2のコントリビューションは、粒子ベースのシミュレータを用いて、静的なシーンから物理に基づくダイナミクスを合成する方法である。 このパイプラインで使用される重要なテクニックを整理し、自然言語に基づく外観、幾何学、材料特性、意味論の統一フォーマットとして機能を持つ3Dガウシアンを使用する際の課題と機会を説明する。 プロジェクトウェブサイト:https://feature-splatting.github.io/

関連論文リスト

• Automated 3D Physical Simulation of Open-world Scene with Gaussian Splatting [22.40115216094332]
  Sim Anythingは、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える物理ベースのアプローチである。 人間の視覚的推論に触発されて,MLLMに基づく物理特性知覚を提案する。 また、物理幾何学的適応サンプリングを用いて粒子をサンプリングして、オープンワールドシーンでオブジェクトをシミュレートする。
  論文  参考訳（メタデータ） (2024-11-19T12:52:21Z)
• Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
  オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。 ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。 提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
  論文  参考訳（メタデータ） (2024-07-30T15:33:58Z)
• Latent Intuitive Physics: Learning to Transfer Hidden Physics from A 3D Video [58.043569985784806]
  本稿では,物理シミュレーションのための伝達学習フレームワークである潜在直観物理学を紹介する。 単一の3Dビデオから流体の隠れた性質を推測し、新しいシーンで観察された流体をシミュレートすることができる。 我々は,本モデルの有効性を3つの方法で検証する: (i) 学習されたビジュアルワールド物理を用いた新しいシーンシミュレーション, (ii) 観測された流体力学の将来予測, (iii) 教師付き粒子シミュレーション。
  論文  参考訳（メタデータ） (2024-06-18T16:37:44Z)
• DreamPhysics: Learning Physical Properties of Dynamic 3D Gaussians with Video Diffusion Priors [75.83647027123119]
  本稿では,映像拡散前の物体の物理的特性を学習することを提案する。 次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
  論文  参考訳（メタデータ） (2024-06-03T16:05:25Z)
• DGD: Dynamic 3D Gaussians Distillation [14.7298711927857]
  単一の単眼映像を入力として,動的3次元セマンティックラディアンス場を学習する作業に取り組む。 我々の学習したセマンティック・ラディアンス・フィールドは、動的3Dシーンの色と幾何学的性質だけでなく、ポイントごとのセマンティクスをキャプチャする。 動的3Dシーンの外観と意味を統一した3D表現であるDGDを提案する。
  論文  参考訳（メタデータ） (2024-05-29T17:52:22Z)
• Reconstruction and Simulation of Elastic Objects with Spring-Mass 3D Gaussians [23.572267290979045]
  Spring-Gausは、複数の視点からオブジェクトのビデオから弾性オブジェクトを再構成し、シミュレーションするための3D物理オブジェクト表現である。 本研究では,3次元Spring-Massモデルを3次元ガウスカーネルに実装し,オブジェクトの視覚的外観,形状,物理力学の再構築を可能にする。 合成と実世界の両方のデータセット上でSpring-Gausを評価し,弾性物体の正確な再構成とシミュレーションを実証した。
  論文  参考訳（メタデータ） (2024-03-14T14:25:10Z)
• CG3D: Compositional Generation for Text-to-3D via Gaussian Splatting [57.14748263512924]
  CG3Dは、スケーラブルな3Dアセットを合成的に生成する手法である。 ガンマ放射場は、オブジェクトの合成を可能にするためにパラメータ化され、意味的および物理的に一貫したシーンを可能にする能力を持っている。
  論文  参考訳（メタデータ） (2023-11-29T18:55:38Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)
• 3D-IntPhys: Towards More Generalized 3D-grounded Visual Intuitive Physics under Challenging Scenes [68.66237114509264]
  複雑なシーンと流体の映像から3次元的な視覚的直感的な物理モデルを学習できるフレームワークを提案する。 本モデルでは,生画像から学習し,明示的な3次元表現空間を用いないモデルよりもはるかに優れた将来予測が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-22T19:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。