Fugu-MT 論文翻訳(概要): Orchid: Image Latent Diffusion for Joint Appearance and Geometry Generation

論文の概要: Orchid: Image Latent Diffusion for Joint Appearance and Geometry Generation

arxiv url: http://arxiv.org/abs/2501.13087v2
Date: Sat, 23 Aug 2025 16:12:57 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-26 14:31:50.463611
Title: Orchid: Image Latent Diffusion for Joint Appearance and Geometry Generation
Title（参考訳）: Orchid: 関節外見と幾何学生成のための画像遅延拡散
Authors: Akshay Krishnan, Xinchen Yan, Vincent Casser, Abhijit Kundu,
Abstract要約: 色, 深度, 表面の正常な画像を生成する前に, 共同外観幾何学を学習する統合潜在拡散モデルOrchidを導入する。 Orchidは、テキストから直接色、深さ、正常な画像を生成し、関節の単眼深度と正常な推定をサポートする。関節分布から採取することで、大きな3D領域をシームレスに塗布する。
参考スコア（独自算出の注目度）: 7.686091187078211
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce Orchid, a unified latent diffusion model that learns a joint appearance-geometry prior to generate color, depth, and surface normal images in a single diffusion process. This unified approach is more efficient and coherent than current pipelines that use separate models for appearance and geometry. Orchid is versatile - it directly generates color, depth, and normal images from text, supports joint monocular depth and normal estimation with color-conditioned finetuning, and seamlessly inpaints large 3D regions by sampling from the joint distribution. It leverages a novel Variational Autoencoder (VAE) that jointly encodes RGB, relative depth, and surface normals into a shared latent space, combined with a latent diffusion model that denoises these latents. Our extensive experiments demonstrate that Orchid delivers competitive performance against SOTA task-specific methods for geometry prediction, even surpassing them in normal-prediction accuracy and depth-normal consistency. It also inpaints color-depth-normal images jointly, with more qualitative realism than existing multi-step methods.
Abstract（参考訳）: 単一拡散過程における色, 深さ, 表面の正常な画像を生成するために, 共同外観幾何学を学習する統合潜在拡散モデルOrchidを導入する。この統一されたアプローチは、外観と幾何学のために別々のモデルを使用する現在のパイプラインよりも効率的でコヒーレントである。 Orchidはテキストから直接色、深さ、正常な画像を生成し、色条件の微調整による関節の単眼深度と正常な推定をサポートし、関節分布からのサンプリングによって大きな3D領域をシームレスに塗布する。変分オートエンコーダ(VAE)は、RGB、相対深度、表面の正規値を共有潜在空間に共同で符号化し、これらの潜伏空間をノイズ化する潜伏拡散モデルと組み合わせる。我々の広範な実験により、OrchidはSOTAタスク固有の幾何予測手法に対して、通常の予測精度と深さ正規整合性でそれらを上回り、競争性能を発揮できることを示した。また、既存の多段階法よりも質的なリアリズムを持つ色深度正規像を併用する。

関連論文リスト

ViPOcc: Leveraging Visual Priors from Vision Foundation Models for Single-View 3D Occupancy Prediction [11.312780421161204]
本稿では,視覚基盤モデルからの視覚的先行情報を活用して,詳細な3D占有率予測を行うViPOccを提案する。また,効率的な実例認識光サンプリングのための意味誘導型非重複ガウス混合サンプリング器を提案する。本実験は,3次元占有予測と深度推定の両方において,ViPOccの優れた性能を示す。
論文参考訳（メタデータ） (2024-12-15T15:04:27Z)
GeoGen: Geometry-Aware Generative Modeling via Signed Distance Functions [22.077366472693395]
単一ビューコレクションから3次元形状と画像を合成するための新しい生成手法を提案する。ニューラルラディアンス場を用いたボリュームレンダリングを用いることで、生成した幾何学はノイズが多く、制約がないという重要な制限を継承する。エンド・ツー・エンドで訓練された新しいSDFベースの3D生成モデルであるGeoGenを提案する。
論文参考訳（メタデータ） (2024-06-06T17:00:10Z)
Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
論文参考訳（メタデータ） (2024-04-15T17:59:57Z)
GeoWizard: Unleashing the Diffusion Priors for 3D Geometry Estimation from a Single Image [94.56927147492738]
単一画像から幾何学的属性を推定するための新しい生成基盤モデルであるGeoWizardを紹介する。拡散前処理の活用は,資源利用における一般化,詳細な保存,効率性を著しく向上させることが示唆された。本稿では,様々なシーンの複雑なデータ分布を,個別のサブディストリビューションに分離する,シンプルかつ効果的な戦略を提案する。
論文参考訳（メタデータ） (2024-03-18T17:50:41Z)
Diffusion Models are Geometry Critics: Single Image 3D Editing Using Pre-Trained Diffusion Priors [24.478875248825563]
単一画像の3次元操作を可能にする新しい画像編集手法を提案する。本手法は,テキスト・イメージ・ペアの広い範囲で訓練された強力な画像拡散モデルを直接活用する。提案手法では,高画質な3D画像編集が可能で,視点変換が大きく,外観や形状の整合性も高い。
論文参考訳（メタデータ） (2024-03-18T06:18:59Z)
GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
論文参考訳（メタデータ） (2024-03-15T12:24:36Z)
RichDreamer: A Generalizable Normal-Depth Diffusion Model for Detail Richness in Text-to-3D [31.77212284992657]
我々は3次元生成のための一般化可能な正規-深度拡散モデルを学ぶ。アルベド拡散モデルを導入し、アルベド成分にデータ駆動的制約を課す。実験の結果,既存のテキスト・ツー・3Dパイプラインに組み込むと,モデルのリッチさが著しく向上することがわかった。
論文参考訳（メタデータ） (2023-11-28T16:22:33Z)
HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。テスト時,本手法は単眼のRGBビデオによって駆動される。
論文参考訳（メタデータ） (2023-03-25T13:56:33Z)
3DGazeNet: Generalizing Gaze Estimation with Weak-Supervision from Synthetic Views [67.00931529296788]
本稿では,適応を伴わない新しい環境に直接適用可能な一般的な視線推定モデルを訓練することを提案する。視覚的擬似アノテーションを用いた多彩な顔の大規模データセットを作成し、シーンの3次元形状に基づいて抽出する。本研究では,本手法を視線一般化タスクにおいて検証し,真理データが得られない場合の最先端技術と比較して最大30%の改善を実証する。
論文参考訳（メタデータ） (2022-12-06T14:15:17Z)
Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
論文参考訳（メタデータ） (2022-04-21T03:42:31Z)
Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
論文参考訳（メタデータ） (2021-08-30T19:45:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。