論文の概要: Orchid: Image Latent Diffusion for Joint Appearance and Geometry Generation

• arxiv url: http://arxiv.org/abs/2501.13087v1
• Date: Wed, 22 Jan 2025 18:46:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 18:44:14.110915
• Title: Orchid: Image Latent Diffusion for Joint Appearance and Geometry Generation
• Title（参考訳）: Orchid: 関節外見と幾何学生成のための画像遅延拡散
• Authors: Akshay Krishnan, Xinchen Yan, Vincent Casser, Abhijit Kundu,
• Abstract要約: 外観と幾何学を結合的に符号化する新しい画像拡散法を提案する。 Orchidはユーザが提供するテキストから直接カラー画像、相対深度、表面の正常値を生成し、画像に整合した部分的な3Dシーンをシームレスに作成することができる。 我々のモデルは、外見と幾何学を絡める多くの逆問題に対する正則化器としてゼロショットを使用できるジョイントを前もって学習する。
• 参考スコア（独自算出の注目度）: 9.477740758741998
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models are state-of-the-art for image generation. Trained on large datasets, they capture expressive image priors that have been used for tasks like inpainting, depth, and (surface) normal prediction. However, these models are typically trained for one specific task, e.g., a separate model for each of color, depth, and normal prediction. Such models do not leverage the intrinsic correlation between appearance and geometry, often leading to inconsistent predictions. In this paper, we propose using a novel image diffusion prior that jointly encodes appearance and geometry. We introduce a diffusion model Orchid, comprising a Variational Autoencoder (VAE) to encode color, depth, and surface normals to a latent space, and a Latent Diffusion Model (LDM) for generating these joint latents. Orchid directly generates photo-realistic color images, relative depth, and surface normals from user-provided text, and can be used to create image-aligned partial 3D scenes seamlessly. It can also perform image-conditioned tasks like joint monocular depth and normal prediction and is competitive in accuracy to state-of-the-art methods designed for those tasks alone. Lastly, our model learns a joint prior that can be used zero-shot as a regularizer for many inverse problems that entangle appearance and geometry. For example, we demonstrate its effectiveness in color-depth-normal inpainting, showcasing its applicability to problems in 3D generation from sparse views.
• Abstract（参考訳）: 拡散モデルは画像生成のための最先端技術である。 大規模なデータセットに基づいてトレーニングされ、インペイント、深さ、(表面)正常な予測といったタスクに使用される、表現力のある画像の先行をキャプチャする。 しかしながら、これらのモデルは通常、1つの特定のタスク、例えば色、深さ、正常な予測のそれぞれのための別々のモデルのために訓練される。 このようなモデルは外観と幾何学の本質的な相関を利用せず、しばしば矛盾した予測をもたらす。 本稿では、外観と幾何学を共同で符号化する新しい画像拡散手法を提案する。 本研究では,変分オートエンコーダ(VAE)を用いて色,深さ,表面の正規分布を潜在空間にエンコードする拡散モデルOrchidと,これらの共振子を生成する潜在拡散モデル(LDM)を導入する。 Orchidは、ユーザが提供するテキストから直接、フォトリアリスティックなカラー画像、相対深度、表面の正常値を生成し、画像に整合した部分的な3Dシーンをシームレスに作成することができる。 また、ジョイントモノクラー深度や通常の予測のようなイメージコンディショニングされたタスクも実行でき、それらのタスクだけのために設計された最先端の手法と精度で競合する。 最後に、我々のモデルは、外観と幾何学を絡める多くの逆問題に対する正則化器としてゼロショットを使用できるジョイントを前もって学習する。 例えば、色深度正規塗布におけるその効果を実証し、スパースビューからの3次元生成問題への適用性を示す。

関連論文リスト

• Joint Geometry-Appearance Human Reconstruction in a Unified Latent Space via Bridge Diffusion [57.09673862519791]
  本稿では,幾何学と外観のモデリングを結合潜在表現に統一する新しいフレームワークである textbfJGA-LBD を紹介する。 実験により、JGA-LBDは、幾何学的忠実度と外観品質の両方の観点から、現在の最先端アプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2026-01-01T12:48:56Z)
• BokehDiff: Neural Lens Blur with One-Step Diffusion [62.59018200914645]
  ボケフディフ(BokehDiff)は、物理的に正確で視覚的に魅力的な結果が得られるレンズボウ描画法である。 提案手法では, 画像形成プロセスと整合する自己認識モジュールを物理に着想を得た。 付加雑音を導入することなく1ステップの推論方式に拡散モデルを適応させ,高品質で忠実な結果を得る。
  論文  参考訳（メタデータ） (2025-07-24T03:23:19Z)
• Aligned Novel View Image and Geometry Synthesis via Cross-modal Attention Instillation [62.87088388345378]
  ワーピング・アンド・インペインティング手法を用いて,新しいビューイメージと幾何学生成の整合性を実現する拡散型フレームワークを提案する。 手法は、既製の幾何学予測器を利用して、参照画像から見る部分的な幾何学を予測する。 生成した画像と幾何の正確なアライメントを確保するために, クロスモーダルアテンション蒸留法を提案する。
  論文  参考訳（メタデータ） (2025-06-13T16:19:00Z)
• JointDiT: Enhancing RGB-Depth Joint Modeling with Diffusion Transformers [41.813813511896484]
  RGBと深さの関節分布をモデル化した拡散変圧器であるJointDiTを提案する。 JointDiTは高忠実度画像を生成するが、幾何学的に可視で正確な深度マップも生成する。
  論文  参考訳（メタデータ） (2025-05-01T12:21:23Z)
• ViPOcc: Leveraging Visual Priors from Vision Foundation Models for Single-View 3D Occupancy Prediction [11.312780421161204]
  本稿では,視覚基盤モデルからの視覚的先行情報を活用して,詳細な3D占有率予測を行うViPOccを提案する。 また,効率的な実例認識光サンプリングのための意味誘導型非重複ガウス混合サンプリング器を提案する。 本実験は,3次元占有予測と深度推定の両方において,ViPOccの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-15T15:04:27Z)
• Towards High-Fidelity 3D Portrait Generation with Rich Details by Cross-View Prior-Aware Diffusion [63.81544586407943]
  シングルイメージの3Dポートレート生成法は通常、多視点の知識を提供するために2次元拡散モデルを使用し、それを3次元表現に蒸留する。 本稿では,複数ビュー画像の状態の整合性を高める条件として,複数ビュー先行を明示的かつ暗黙的に組み込んだハイブリッド優先ディフジョンモデルを提案する。 実験により,1枚の画像から正確な幾何学的,詳細な3次元像を作成できることが示された。
  論文  参考訳（メタデータ） (2024-11-15T17:19:18Z)
• GeoGen: Geometry-Aware Generative Modeling via Signed Distance Functions [22.077366472693395]
  単一ビューコレクションから3次元形状と画像を合成するための新しい生成手法を提案する。 ニューラルラディアンス場を用いたボリュームレンダリングを用いることで、生成した幾何学はノイズが多く、制約がないという重要な制限を継承する。 エンド・ツー・エンドで訓練された新しいSDFベースの3D生成モデルであるGeoGenを提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:00:10Z)
• Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
  ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。 本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。 我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
  論文  参考訳（メタデータ） (2024-04-15T17:59:57Z)
• GeoWizard: Unleashing the Diffusion Priors for 3D Geometry Estimation from a Single Image [94.56927147492738]
  単一画像から幾何学的属性を推定するための新しい生成基盤モデルであるGeoWizardを紹介する。 拡散前処理の活用は,資源利用における一般化,詳細な保存,効率性を著しく向上させることが示唆された。 本稿では,様々なシーンの複雑なデータ分布を,個別のサブディストリビューションに分離する,シンプルかつ効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-18T17:50:41Z)
• Diffusion Models are Geometry Critics: Single Image 3D Editing Using Pre-Trained Diffusion Priors [24.478875248825563]
  単一画像の3次元操作を可能にする新しい画像編集手法を提案する。 本手法は,テキスト・イメージ・ペアの広い範囲で訓練された強力な画像拡散モデルを直接活用する。 提案手法では,高画質な3D画像編集が可能で,視点変換が大きく,外観や形状の整合性も高い。
  論文  参考訳（メタデータ） (2024-03-18T06:18:59Z)
• GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
  単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。 本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。 実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
  論文  参考訳（メタデータ） (2024-03-15T12:24:36Z)
• RichDreamer: A Generalizable Normal-Depth Diffusion Model for Detail Richness in Text-to-3D [31.77212284992657]
  我々は3次元生成のための一般化可能な正規-深度拡散モデルを学ぶ。 アルベド拡散モデルを導入し、アルベド成分にデータ駆動的制約を課す。 実験の結果,既存のテキスト・ツー・3Dパイプラインに組み込むと,モデルのリッチさが著しく向上することがわかった。
  論文  参考訳（メタデータ） (2023-11-28T16:22:33Z)
• Explicit Correspondence Matching for Generalizable Neural Radiance Fields [66.99907718824782]
  本稿では,新たな未知のシナリオに一般化し,2つのソースビューで新規なビュー合成を行う新しいNeRF手法を提案する。 明瞭な対応マッチングは、異なるビュー上の3Dポイントの2次元投影でサンプリングされた画像特徴間のコサイン類似度と定量化される。 実験では,実験結果から得られたコサイン特徴の類似性と体積密度との間に強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-04-24T17:46:01Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• DAG: Depth-Aware Guidance with Denoising Diffusion Probabilistic Models [23.70476220346754]
  拡散モデルの豊かな中間表現から得られた推定深度情報を利用する拡散モデルのための新しいガイダンス手法を提案する。 実験と広範囲にわたるアブレーション研究により,幾何学的に妥当な画像生成に向けた拡散モデルの導出における本手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-12-17T12:47:19Z)
• 3DGazeNet: Generalizing Gaze Estimation with Weak-Supervision from Synthetic Views [67.00931529296788]
  本稿では,適応を伴わない新しい環境に直接適用可能な一般的な視線推定モデルを訓練することを提案する。 視覚的擬似アノテーションを用いた多彩な顔の大規模データセットを作成し、シーンの3次元形状に基づいて抽出する。 本研究では,本手法を視線一般化タスクにおいて検証し,真理データが得られない場合の最先端技術と比較して最大30%の改善を実証する。
  論文  参考訳（メタデータ） (2022-12-06T14:15:17Z)
• Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
  カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。 我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。 我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:42:31Z)
• Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
  本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。 提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
  論文  参考訳（メタデータ） (2021-08-30T19:45:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。