Fugu-MT 論文翻訳(概要): Mesh-Learner: Texturing Mesh with Spherical Harmonics

論文の概要: Mesh-Learner: Texturing Mesh with Spherical Harmonics

arxiv url: http://arxiv.org/abs/2504.19938v1
Date: Mon, 28 Apr 2025 16:09:25 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:54.505531
Title: Mesh-Learner: Texturing Mesh with Spherical Harmonics
Title（参考訳）: Mesh-Learner: 球高調波を用いたテクスチャメッシュ
Authors: Yunfei Wan, Jianheng Liu, Jiarong Lin, Fu Zhang,
Abstract要約: Mesh-Learnerは従来のパイプラインと互換性のある3D再構築およびレンダリングフレームワークである。メッシュと球面調和(SH)テクスチャを学習プロセスに統合し、各メッシュのビュー依存のエンドツーエンドを学習する。
参考スコア（独自算出の注目度）: 9.14296499083056
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we present a 3D reconstruction and rendering framework termed Mesh-Learner that is natively compatible with traditional rasterization pipelines. It integrates mesh and spherical harmonic (SH) texture (i.e., texture filled with SH coefficients) into the learning process to learn each mesh s view-dependent radiance end-to-end. Images are rendered by interpolating surrounding SH Texels at each pixel s sampling point using a novel interpolation method. Conversely, gradients from each pixel are back-propagated to the related SH Texels in SH textures. Mesh-Learner exploits graphic features of rasterization pipeline (texture sampling, deferred rendering) to render, which makes Mesh-Learner naturally compatible with tools (e.g., Blender) and tasks (e.g., 3D reconstruction, scene rendering, reinforcement learning for robotics) that are based on rasterization pipelines. Our system can train vast, unlimited scenes because we transfer only the SH textures within the frustum to the GPU for training. At other times, the SH textures are stored in CPU RAM, which results in moderate GPU memory usage. The rendering results on interpolation and extrapolation sequences in the Replica and FAST-LIVO2 datasets achieve state-of-the-art performance compared to existing state-of-the-art methods (e.g., 3D Gaussian Splatting and M2-Mapping). To benefit the society, the code will be available at https://github.com/hku-mars/Mesh-Learner.
Abstract（参考訳）: 本稿では,従来のラスタ化パイプラインとネイティブに互換性のある3次元再構成・レンダリングフレームワークであるMesh-Learnerを提案する。メッシュと球面調和(SH)テクスチャ(すなわちSH係数で満たされたテクスチャ)を学習プロセスに統合し、各メッシュのビュー依存放射率をエンドツーエンドに学習する。画像は、新しい補間法を用いて、各画素sサンプリングポイントの周囲SHテクセルを補間することによって描画される。逆に、各画素からの勾配はSHテクスチャの関連SHテクセルに逆伝播される。 Mesh-Learnerは、ラスタライズパイプライン(コンテキストサンプリング、遅延レンダリング)のレンダリング機能を利用して、ラスタライズパイプラインに基づいたツール(例:Blender)やタスク(例:3D再構築、シーンレンダリング、ロボットのための強化学習)と自然に互換性を持つ。我々のシステムは、フラストタル内のSHテクスチャのみをGPUに転送するため、広大な無制限のシーンをトレーニングすることができる。別の場合、SHテクスチャはCPURAMに格納され、適度なGPUメモリ使用率をもたらす。 ReplicaとFAST-LIVO2データセットの補間および補間シーケンスのレンダリング結果は、既存の最先端手法(例:3D Gaussian SplattingとM2-Mapping)と比較して、最先端のパフォーマンスを達成する。社会の利益を得るために、コードはhttps://github.com/hku-mars/Mesh-Learner.comで入手できる。

関連論文リスト

TriTex: Learning Texture from a Single Mesh via Triplane Semantic Features [78.13246375582906]
本研究では,1つのテクスチャメッシュから体積テクスチャ場を学習し,セマンティックな特徴を対象色にマッピングする手法を提案する。本手法は,ゲーム開発などのアプリケーションにおいて,3次元モデル間で優れたテクスチャ品質を実現する。
論文参考訳（メタデータ） (2025-03-20T18:35:03Z)
TexGaussian: Generating High-quality PBR Material via Octree-based 3D Gaussian Splatting [48.97819552366636]
本稿では, 八面体配向型3次元ガウス平板を用いた高速PBR材料生成のためのTexGaussianを提案する。本手法は,PBR素材をより視覚的に合成し,非条件シナリオとテキスト条件シナリオの両方において,従来の方法よりも高速に動作させる。
論文参考訳（メタデータ） (2024-11-29T12:19:39Z)
Hybrid Explicit Representation for Ultra-Realistic Head Avatars [55.829497543262214]
我々は,超現実的な頭部アバターを作成し,それをリアルタイムにレンダリングする新しい手法を提案する。 UVマップされた3Dメッシュは滑らかな表面のシャープでリッチなテクスチャを捉えるのに使われ、3Dガウス格子は複雑な幾何学構造を表現するために用いられる。モデル化された結果が最先端のアプローチを上回る実験を行ないました。
論文参考訳（メタデータ） (2024-03-18T04:01:26Z)
Texture-GS: Disentangling the Geometry and Texture for 3D Gaussian Splatting Editing [79.10630153776759]
3Dガウススプラッティングは画期的なアプローチとして登場し、高忠実度再構成とリアルタイムレンダリングの能力に注目が集まっている。そこで我々は,テクスチャ-GSという新しいアプローチを提案し,その外観を3次元表面上にマッピングされた2次元テクスチャとして表現することで幾何学から切り離す。提案手法は,高精細な外観の編集を容易にするだけでなく,コンシューマレベルのデバイス上でのリアルタイムレンダリングも実現している。
論文参考訳（メタデータ） (2024-03-15T06:42:55Z)
GeoScaler: Geometry and Rendering-Aware Downsampling of 3D Mesh Textures [0.06990493129893112]
高解像度テクスチャマップは、3Dメッシュで現実世界のオブジェクトを正確に表現するために必要である。 GeoScalerは幾何学的手がかりを取り入れつつ、3Dメッシュのテクスチャマップをダウンサンプリングする方法である。また,GeoScalerが生成したテクスチャは,従来のダウンサンプリング手法に比べて,画質のよいレンダリング画像を提供することを示した。
論文参考訳（メタデータ） (2023-11-28T07:55:25Z)
Mesh Neural Cellular Automata [62.101063045659906]
本稿では,UVマップを必要とせずに3次元メッシュ上で動的テクスチャを直接合成するメッシュニューラルセルオートマタ(MeshNCA)を提案する。 IcosphereメッシュでのみトレーニングされたMeshNCAは、驚くべきテストタイムの一般化を示し、目に見えないメッシュ上でテクスチャをリアルタイムで合成する。
論文参考訳（メタデータ） (2023-11-06T01:54:37Z)
TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
論文参考訳（メタデータ） (2023-10-20T19:15:29Z)
AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
論文参考訳（メタデータ） (2022-04-06T21:39:24Z)
On Demand Solid Texture Synthesis Using Deep 3D Networks [3.1542695050861544]
本稿では,ディープラーニングフレームワークに基づくオンデマンドテクスチャ合成のための新しいアプローチについて述べる。任意の大きさの固形テクスチャのコヒーレント部分を合成するために、生成ネットワークを訓練する。合成されたボリュームは、少なくとも最先端のパッチベースのアプローチと同等の視覚的結果が得られる。
論文参考訳（メタデータ） (2020-01-13T20:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。