論文の概要: MiraGe: Editable 2D Images using Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2410.01521v2
• Date: Wed, 12 Feb 2025 07:22:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:46:04.608439
• Title: MiraGe: Editable 2D Images using Gaussian Splatting
• Title（参考訳）: MiraGe:ガウススプティングによる編集可能な2D画像
• Authors: Joanna Waczyńska, Tomasz Szczepanik, Piotr Borycki, Sławomir Tadeja, Thomas Bohné, Przemysław Spurek,
• Abstract要約: Inlicit Neural Representation (INRs) は連続関数を通して離散データを近似し、2次元画像を符号化するのによく用いられる。 ミラー反射法を用いて3次元空間の2次元画像を知覚し,平面制御されたガウスアンを用いて正確な2次元画像編集を行う新しい手法であるMiraGeを提案する。 われわれのアプローチは、レンダリングの質を改善し、リアルな画像修正を可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Implicit Neural Representations (INRs) approximate discrete data through continuous functions and are commonly used for encoding 2D images. Traditional image-based INRs employ neural networks to map pixel coordinates to RGB values, capturing shapes, colors, and textures within the network's weights. Recently, GaussianImage has been proposed as an alternative, using Gaussian functions instead of neural networks to achieve comparable quality and compression. Such a solution obtains a quality and compression ratio similar to classical INR models but does not allow image modification. In contrast, our work introduces a novel method, MiraGe, which uses mirror reflections to perceive 2D images in 3D space and employs flat-controlled Gaussians for precise 2D image editing. Our approach improves the rendering quality and allows realistic image modifications, including human-inspired perception of photos in the 3D world. Thanks to modeling images in 3D space, we obtain the illusion of 3D-based modification in 2D images. We also show that our Gaussian representation can be easily combined with a physics engine to produce physics-based modification of 2D images. Consequently, MiraGe allows for better quality than the standard approach and natural modification of 2D images
• Abstract（参考訳）: Inlicit Neural Representation (INR) は連続関数を通して離散データを近似し、2次元画像を符号化するのによく用いられる。 従来の画像ベースのINRでは、ニューラルネットワークを使用してピクセル座標をRGB値にマッピングし、ネットワークの重み内の形状、色、テクスチャをキャプチャする。 近年,ニューラルネットワークの代わりにガウス関数を用いて同等の品質と圧縮を実現する手法としてガウス画像が提案されている。 このような解は、古典的なINRモデルと同様の品質と圧縮率を得るが、画像修正はできない。 対照的に,本研究では,ミラー反射法を用いて3次元空間内の2次元画像を知覚し,平面制御されたガウスアンを用いて正確な2次元画像編集を行う新しい手法であるMiraGeを導入する。 われわれのアプローチは、レンダリングの質を改善し、リアルな画像修正を可能にする。 3次元空間における画像のモデリングにより、2次元画像における3次元修正の錯覚が得られる。 また,ガウス表現を物理エンジンと組み合わせることで,物理に基づく2次元画像の修正が容易に可能であることを示す。 その結果、MiraGeは標準的なアプローチや2D画像の自然な修正よりも品質が向上する

関連論文リスト

• MixedGaussianAvatar: Realistically and Geometrically Accurate Head Avatar via Mixed 2D-3D Gaussian Splatting [38.16397253003339]
  高忠実度3Dヘッドアバターの再構築は、仮想現実などの様々な応用において重要である。 最近の3次元ガウススティング(3DGS)に基づく手法は、トレーニングとレンダリングの効率を著しく向上させる。 そこで我々は,MixedGaussian Avatarという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-06T11:17:25Z)
• ScalingGaussian: Enhancing 3D Content Creation with Generative Gaussian Splatting [30.99112626706754]
  高品質な3Dアセットの作成は、デジタル遺産、エンターテイメント、ロボット工学の応用において最重要である。 伝統的に、このプロセスはモデリングに熟練した専門家と専門的なソフトウェアを必要とする。 本稿では,3Dテクスチャを効率的に生成する新しい3Dコンテンツ作成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-26T18:26:01Z)
• UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
  メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。 我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
  論文  参考訳（メタデータ） (2024-03-18T09:03:56Z)
• GOEmbed: Gradient Origin Embeddings for Representation Agnostic 3D Feature Learning [67.61509647032862]
  入力された2次元画像を任意の3次元表現にエンコードするGOEmbed(Gradient Origin Embeddings)を提案する。 入力画像が大きな事前訓練されたモデルから抽出された2D特徴を用いて符号化される典型的な従来のアプローチとは異なり、カスタマイズされた特徴は異なる3D表現を扱うように設計されている。
  論文  参考訳（メタデータ） (2023-12-14T08:39:39Z)
• Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors [104.79392615848109]
  Magic123は、高品質でテクスチャ化された3Dメッシュのための、2段階の粗大なアプローチである。 最初の段階では、粗い幾何学を生成するために、神経放射場を最適化する。 第2段階では、視覚的に魅力的なテクスチャを持つ高分解能メッシュを生成するために、メモリ効率のよい微分可能なメッシュ表現を採用する。
  論文  参考訳（メタデータ） (2023-06-30T17:59:08Z)
• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• XDGAN: Multi-Modal 3D Shape Generation in 2D Space [60.46777591995821]
  本稿では,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。 生成された幾何学画像は素早く3Dメッシュに変換し、リアルタイムな3Dオブジェクト合成、可視化、インタラクティブな編集を可能にする。 近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-06T15:54:01Z)
• GRAM-HD: 3D-Consistent Image Generation at High Resolution with Generative Radiance Manifolds [28.660893916203747]
  本稿では,ボリュームレンダリングのように厳密な3D一貫性を維持しつつ,高解像度画像(最大1024×1024)を生成できる新しい3D対応GANを提案する。 私たちのモチベーションは、3Dの一貫性を維持するために、3D空間で直接超解像度を達成することです。 FFHQおよびAFHQv2データセットを用いた実験により,本手法は高品質な3D一貫性のある結果が得られることが示された。
  論文  参考訳（メタデータ） (2022-06-15T02:35:51Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• Convolutional Generation of Textured 3D Meshes [34.20939983046376]
  単視点自然画像からの2次元監視のみを用いて,三角形メッシュとそれに伴う高分解能テクスチャマップを生成できるフレームワークを提案する。 我々の研究の重要な貢献は、メッシュとテクスチャを2D表現として符号化することであり、意味的に整合し、2D畳み込みGANで容易にモデル化できる。 本研究では,Pascal3D+カーとCUBにおいて,モデルがクラスラベル,属性,テキストに条件付けされている場合とで,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-06-13T15:23:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。