論文の概要: WaSt-3D: Wasserstein-2 Distance for Scene-to-Scene Stylization on 3D Gaussians

• arxiv url: http://arxiv.org/abs/2409.17917v1
• Date: Thu, 26 Sep 2024 15:02:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 17:03:54.340195
• Title: WaSt-3D: Wasserstein-2 Distance for Scene-to-Scene Stylization on 3D Gaussians
• Title（参考訳）: WaSt-3D: Wasserstein-2 による3次元ガウス上のScene-to-Scene Stylization
• Authors: Dmytro Kotovenko, Olga Grebenkova, Nikolaos Sarafianos, Avinash Paliwal, Pingchuan Ma, Omid Poursaeed, Sreyas Mohan, Yuchen Fan, Yilei Li, Rakesh Ranjan, Björn Ommer,
• Abstract要約: We developed a new style transfer method for 3D scene called WaSt-3D。 トレーニングを必要とせずに、スタイルシーンからコンテンツシーンに詳細を忠実に転送する。 WaSt-3Dは、トレーニングを必要とせずに、さまざまなコンテンツやスタイルシーンに一貫して結果を提供する。
• 参考スコア（独自算出の注目度）: 37.139479729087896
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: While style transfer techniques have been well-developed for 2D image stylization, the extension of these methods to 3D scenes remains relatively unexplored. Existing approaches demonstrate proficiency in transferring colors and textures but often struggle with replicating the geometry of the scenes. In our work, we leverage an explicit Gaussian Splatting (GS) representation and directly match the distributions of Gaussians between style and content scenes using the Earth Mover's Distance (EMD). By employing the entropy-regularized Wasserstein-2 distance, we ensure that the transformation maintains spatial smoothness. Additionally, we decompose the scene stylization problem into smaller chunks to enhance efficiency. This paradigm shift reframes stylization from a pure generative process driven by latent space losses to an explicit matching of distributions between two Gaussian representations. Our method achieves high-resolution 3D stylization by faithfully transferring details from 3D style scenes onto the content scene. Furthermore, WaSt-3D consistently delivers results across diverse content and style scenes without necessitating any training, as it relies solely on optimization-based techniques. See our project page for additional results and source code: $\href{https://compvis.github.io/wast3d/}{https://compvis.github.io/wast3d/}$.
• Abstract（参考訳）: スタイル転送技術は2次元画像のスタイラス化のためによく開発されているが、これらの手法の3次元シーンへの拡張はいまだに未解明である。 既存のアプローチは色やテクスチャを伝達する能力を示しているが、しばしばシーンの幾何学を再現するのに苦労する。 本研究では,Gaussian Splatting (GS) の明示的表現を活用し,Earth Mover's Distance (EMD) を用いて,Gaussianのスタイルとコンテンツシーン間の分布を直接一致させる。 エントロピー規則化ワッサーシュタイン-2距離を用いることで、変換が空間的滑らかさを維持することを保証する。 さらに,シーンスタイリング問題を小さなチャンクに分解して効率を向上する。 このパラダイムシフトは、潜在空間損失によって引き起こされる純粋な生成過程から、2つのガウス表現間の分布の明示的なマッチングへとスタイリングを再構築する。 本手法は,3Dスタイルのシーンからコンテンツシーンに忠実に詳細を転送することで,高精細な3Dスタイリングを実現する。 さらに、WaSt-3Dは、最適化ベースの技術にのみ依存するため、トレーニングを必要とせずに、さまざまなコンテンツやスタイルシーンに一貫して結果を提供する。 $\href{https://compvis.github.io/wast3d/}{https://compvis.github.io/wast3d/}$

関連論文リスト

• StyleSplat: 3D Object Style Transfer with Gaussian Splatting [0.3374875022248866]
  スタイル転送は、さまざまな芸術スタイルで3Dアセットを強化し、創造的な表現を変革する。 本稿では,3次元ガウス表現シーンにおける3次元オブジェクトのスタイリング手法であるStyleSplatを紹介する。 様々な3Dシーンやスタイルにまたがって有効性を示し、3D生成における制御とカスタマイズの強化を示す。
  論文  参考訳（メタデータ） (2024-07-12T17:55:08Z)
• LoopGaussian: Creating 3D Cinemagraph with Multi-view Images via Eulerian Motion Field [13.815932949774858]
  シネマグラフ(Cinemagraph)は、静止画と微妙な動きの要素を組み合わせた視覚メディアの一種である。 本稿では,3次元ガウスモデルを用いて,2次元画像空間から3次元空間への撮影画像の高次化を提案する。 実験の結果,提案手法の有効性を検証し,高品質で視覚的に魅力的なシーン生成を実証した。
  論文  参考訳（メタデータ） (2024-04-13T11:07:53Z)
• Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation [55.73399465968594]
  本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。 3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
  論文  参考訳（メタデータ） (2024-04-02T11:03:24Z)
• HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
  RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。 我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。 提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
  論文  参考訳（メタデータ） (2024-03-19T13:39:05Z)
• Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
  GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。 提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting [141.05924680451804]
  StyleGaussianは、新しい3Dスタイル転送技術である。 任意の画像のスタイルを毎秒10フレームの3Dシーンに即時転送できる(fps)。
  論文  参考訳（メタデータ） (2024-03-12T16:44:52Z)
• Compact 3D Scene Representation via Self-Organizing Gaussian Grids [10.816451552362823]
  3D Gaussian Splattingは、静的な3Dシーンをモデリングするための非常に有望なテクニックとして最近登場した。 本稿では3DGSのパラメータを局所的均一性を持つ2次元グリッドに整理したコンパクトなシーン表現を提案する。 本手法は,訓練時間の増加を伴わない複雑なシーンに対して,17倍から42倍の縮小係数を実現する。
  論文  参考訳（メタデータ） (2023-12-19T20:18:29Z)
• Text-to-3D using Gaussian Splatting [18.163413810199234]
  本稿では,最新の最先端表現であるガウススプラッティングをテキストから3D生成に適用する新しい手法であるGSGENを提案する。 GSGENは、高品質な3Dオブジェクトを生成し、ガウススティングの明示的な性質を活用することで既存の欠点に対処することを目的としている。 我々の手法は繊細な細部と正確な形状で3Dアセットを生成することができる。
  論文  参考訳（メタデータ） (2023-09-28T16:44:31Z)
• Geometric Correspondence Fields: Learned Differentiable Rendering for 3D Pose Refinement in the Wild [96.09941542587865]
  野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。 このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。 我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
  論文  参考訳（メタデータ） (2020-07-17T12:34:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。