論文の概要: GeoRelight: Learning Joint Geometrical Relighting and Reconstruction with Flexible Multi-Modal Diffusion Transformers
- arxiv url: http://arxiv.org/abs/2604.20715v1
- Date: Wed, 22 Apr 2026 16:01:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-23 15:36:11.212031
- Title: GeoRelight: Learning Joint Geometrical Relighting and Reconstruction with Flexible Multi-Modal Diffusion Transformers
- Title（参考訳）: GeoRelight: フレキシブル多モード拡散変換器を用いた共同幾何学的リライトと再構成の学習
- Abstract要約: 我々は,GeoRelightと共同で解決する統合多モード拡散変換器(DiT)を提案する。
幾何学とリライティングを共同で解くことで、GeoRelightは、幾何を無視したシーケンシャルモデルと従来のシステムの両方よりも優れたパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 43.42790302992904
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Relighting a person from a single photo is an attractive but ill-posed task, as a 2D image ambiguously entangles 3D geometry, intrinsic appearance, and illumination. Current methods either use sequential pipelines that suffer from error accumulation, or they do not explicitly leverage 3D geometry during relighting, which limits physical consistency. Since relighting and estimation of 3D geometry are mutually beneficial tasks, we propose a unified Multi-Modal Diffusion Transformer (DiT) that jointly solves for both: GeoRelight. We make this possible through two key technical contributions: isotropic NDC-Orthographic Depth (iNOD), a distortion-free 3D representation compatible with latent diffusion models; and a strategic mixed-data training method that combines synthetic and auto-labeled real data. By solving geometry and relighting jointly, GeoRelight achieves better performance than both sequential models and previous systems that ignored geometry.
- Abstract（参考訳）: 1枚の写真から人をリライティングすることは魅力的だが不適切な作業であり、2D画像は明らかに3D幾何学、本質的な外観、照明を絡ませている。
現在のメソッドでは、エラーの蓄積に苦しむシーケンシャルパイプラインを使用するか、リライト時に3D幾何学を明示的に利用しないため、物理的な一貫性が制限されている。
3次元幾何のリライティングと推定は相互に有益であるので,GeoRelightと共同で解決する多モード拡散変換器(DiT)を提案する。
我々は、等方性NDC-Orthographic Depth (iNOD)、遅延拡散モデルと互換性のある歪みのない3D表現、および合成データと自動ラベル付き実データを組み合わせた戦略的混合データ訓練方法の2つの技術貢献を通してこれを実現している。
幾何学とリライティングを共同で解くことで、GeoRelightは、幾何を無視したシーケンシャルモデルと従来のシステムの両方よりも優れたパフォーマンスを達成する。
関連論文リスト
- Joint Shadow Generation and Relighting via Light-Geometry Interaction Maps [51.82696819319878]
単分子深度から光を識別する新しい表現である光幾何相互作用マップを提案する。
LGIは、オフザシェルフ2.5D深度マップ予測から計算された、確実かつ正確に光と影の相互作用をキャプチャする。
LGIをブリッジマッチングした生成バックボーンに埋め込むことで、曖昧さを低減し、物理的に一貫した光陰性推論を強制する。
論文 参考訳（メタデータ） (2026-02-25T11:47:26Z) - Spherical Geometry Diffusion: Generating High-quality 3D Face Geometry via Sphere-anchored Representations [18.442834011472005]
テキストから3Dの顔生成における根本的な課題は、高品質な幾何学を実現することである。
球面座標に幾何学的信号を固定する新しい顔表現である球面幾何表現を導入する。
次に、この2次元マップ上に構築された条件拡散フレームワークである球拡散幾何学を紹介する。
論文 参考訳（メタデータ） (2026-01-19T20:15:45Z) - Joint Geometry-Appearance Human Reconstruction in a Unified Latent Space via Bridge Diffusion [57.09673862519791]
本稿では,幾何学と外観のモデリングを結合潜在表現に統一する新しいフレームワークである textbfJGA-LBD を紹介する。
実験により、JGA-LBDは、幾何学的忠実度と外観品質の両方の観点から、現在の最先端アプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2026-01-01T12:48:56Z) - Geometry Meets Light: Leveraging Geometric Priors for Universal Photometric Stereo under Limited Multi-Illumination Cues [24.171649472398514]
GeoUniPS(GeoUniPS)は、合成監督と高レベルの幾何学的先行性を統合する、普遍的な測光ステレオネットワークである。
空間的に異なる視野方向の学習を可能にするために,現実的な視点投影を伴うPS-Perpデータセットを提案する。
論文 参考訳（メタデータ） (2025-11-17T06:14:38Z) - Geometry Forcing: Marrying Video Diffusion and 3D Representation for Consistent World Modeling [29.723534231743038]
本稿では,映像拡散モデルと物理世界の3次元的性質のギャップを埋めるために,幾何学的強制法を提案する。
我々の重要な洞察は、事前訓練された幾何学基礎モデルの特徴と整列することで、モデル中間表現を幾何学的構造へ導くことである。
我々は、カメラビューコンディショニングとアクションコンディショニングの両方のビデオ生成タスクにおいて、Geometry Forcingを評価する。
論文 参考訳（メタデータ） (2025-07-10T17:55:08Z) - Geometry and Perception Guided Gaussians for Multiview-consistent 3D Generation from a Single Image [10.648593818811976]
既存のアプローチはしばしば、微調整された事前訓練された2D拡散モデルや、高速ネットワーク推論を通じて直接3D情報を生成することに依存している。
本稿では,新たなモデルトレーニングを必要とせず,幾何学と知覚情報をシームレスに統合する新しい手法を提案する。
実験結果から,新しい視点合成法や3次元再構成法よりも優れ,頑健で一貫した3次元オブジェクト生成を実証した。
論文 参考訳（メタデータ） (2025-06-26T11:22:06Z) - Shape from Semantics: 3D Shape Generation from Multi-View Semantics [30.969299308083723]
既存の3D再構成手法では, 3次元画像, 3次元点雲, 形状輪郭, 単一意味論などのガイダンスを用いて3次元表面を復元する。
図形や外観が、異なる視点から見ると、与えられたテキストの意味と一致した3Dモデルを作成することを目的として、新しい3Dモデリングタスク「Shape from Semantics'」を提案する。
論文 参考訳（メタデータ） (2025-02-01T07:51:59Z) - Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。
3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。
本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
論文 参考訳（メタデータ） (2024-10-12T10:14:11Z) - GeoLRM: Geometry-Aware Large Reconstruction Model for High-Quality 3D Gaussian Generation [65.33726478659304]
GeoLRM(Geometry-Aware Large Restruction Model)は、512kガウスと21の入力画像で11GBのGPUメモリで高品質な資産を予測できる手法である。
従来の作品では、3D構造の本質的な空間性は無視されており、3D画像と2D画像の間の明示的な幾何学的関係は利用されていない。
GeoLRMは、3Dポイントを直接処理し、変形可能なクロスアテンション機構を使用する新しい3D対応トランスフォーマー構造を導入することで、これらの問題に対処する。
論文 参考訳（メタデータ） (2024-06-21T17:49:31Z) - GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。
本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。
実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
論文 参考訳（メタデータ） (2024-03-15T12:24:36Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳（メタデータ） (2021-10-29T10:53:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。