論文の概要: RecDreamer: Consistent Text-to-3D Generation via Uniform Score Distillation
- arxiv url: http://arxiv.org/abs/2502.12640v1
- Date: Tue, 18 Feb 2025 08:42:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-19 14:07:01.765581
- Title: RecDreamer: Consistent Text-to-3D Generation via Uniform Score Distillation
- Title（参考訳）: RecDreamer: 一様スコア蒸留による連続テキスト・ツー・3D生成
- Authors: Chenxi Zheng, Yihong Lin, Bangzhen Liu, Xuemiao Xu, Yongwei Nie, Shengfeng He,
- Abstract要約: 現在のテキスト・ツー・3D生成法は幾何学的不整合に悩まされることが多く、3Dアセットの異なるポーズにまたがるパターンが繰り返される。
我々はRecDreamerというソリューションを提案し、より一貫性のあるポーズ表現を実現するために基礎となるデータ分布を再考する。
実験の結果、RecDreamerはマルチフェイス・ジャナス問題を効果的に緩和し、異なるポーズにまたがるより一貫性のある3Dアセット生成を実現していることがわかった。
- 参考スコア（独自算出の注目度）: 35.85874404892182
- License:
- Abstract: Current text-to-3D generation methods based on score distillation often suffer from geometric inconsistencies, leading to repeated patterns across different poses of 3D assets. This issue, known as the Multi-Face Janus problem, arises because existing methods struggle to maintain consistency across varying poses and are biased toward a canonical pose. While recent work has improved pose control and approximation, these efforts are still limited by this inherent bias, which skews the guidance during generation. To address this, we propose a solution called RecDreamer, which reshapes the underlying data distribution to achieve a more consistent pose representation. The core idea behind our method is to rectify the prior distribution, ensuring that pose variation is uniformly distributed rather than biased toward a canonical form. By modifying the prescribed distribution through an auxiliary function, we can reconstruct the density of the distribution to ensure compliance with specific marginal constraints. In particular, we ensure that the marginal distribution of poses follows a uniform distribution, thereby eliminating the biases introduced by the prior knowledge. We incorporate this rectified data distribution into existing score distillation algorithms, a process we refer to as uniform score distillation. To efficiently compute the posterior distribution required for the auxiliary function, RecDreamer introduces a training-free classifier that estimates pose categories in a plug-and-play manner. Additionally, we utilize various approximation techniques for noisy states, significantly improving system performance. Our experimental results demonstrate that RecDreamer effectively mitigates the Multi-Face Janus problem, leading to more consistent 3D asset generation across different poses.
- Abstract（参考訳）: スコア蒸留に基づく現在のテキスト・ツー・3D生成法は、しばしば幾何学的不整合に悩まされ、3Dアセットの異なるポーズに繰り返しパターンが生じる。
この問題は、Multi-Face Janus問題として知られており、既存のメソッドが様々なポーズの一貫性を維持するのに苦労し、標準的なポーズに偏っているためである。
最近の研究は、ポーズ制御と近似を改善しているが、これらの取り組みは、世代間のガイダンスを歪ませるこの固有のバイアスによって制限されている。
そこで本研究では,より一貫性のあるポーズ表現を実現するために,基盤となるデータ分布を再設定するRecDreamerというソリューションを提案する。
提案手法の背景にある基本的な考え方は,従来の分布の修正であり,ポーズの変動が標準形式に偏っているのではなく,均一に分布していることを保証することである。
補助関数によって所定の分布を変更することにより、分布の密度を再構成し、特定の限界制約に適合させることが可能である。
特に、ポーズの辺分布が一様分布に従えば、先行知識によるバイアスを排除できる。
我々は、この補正されたデータ分布を既存のスコア蒸留アルゴリズムに組み入れ、一様スコア蒸留と呼ぶ。
RecDreamerは、補助関数に必要な後続分布を効率的に計算するために、プラグアンドプレイ方式でポーズカテゴリを推定する訓練自由分類器を導入している。
さらに,様々な近似手法をノイズ状態に適用し,システム性能を著しく向上させる。
実験の結果、RecDreamerはマルチフェイス・ジャナス問題を効果的に緩和し、異なるポーズにまたがるより一貫性のある3Dアセット生成を実現していることがわかった。
関連論文リスト
- ConsistentDreamer: View-Consistent Meshes Through Balanced Multi-View Gaussian Optimization [5.55656676725821]
我々はConsistentDreamerを紹介し、まず、固定された複数ビュー前の画像とそれらの間のランダムなビューの集合を生成する。
これにより、SDSの損失によって導かれるビュー間の相違を抑え、一貫した粗い形状を確保する。
各イテレーションでは、生成した複数ビュー前の画像も詳細再構築に使用しています。
論文 参考訳（メタデータ） (2025-02-13T12:49:25Z) - ADen: Adaptive Density Representations for Sparse-view Camera Pose Estimation [17.097170273209333]
画像からカメラのポーズを復元することは、3Dコンピュータビジョンの基本課題である。
最近のデータ駆動型アプローチは、6DoFカメラのポーズを後退させたり、回転を確率分布として定式化したりすることで、カメラのポーズを直接出力することを目指している。
本稿では, ジェネレータと識別器を用いて2つのフレームワークを統合することを提案する。
論文 参考訳（メタデータ） (2024-08-16T22:45:46Z) - Fine-grained Image-to-LiDAR Contrastive Distillation with Visual Foundation Models [55.99654128127689]
Visual Foundation Models (VFM) は、弱い教師付きピクセル対ポイントのコントラスト蒸留のためのセマンティックラベルを生成するために使用される。
我々は,空間分布とカテゴリー周波数の不均衡に対応するために,点のサンプリング確率を適応させる。
我々の手法は、下流タスクにおける既存の画像からLiDARへのコントラスト蒸留法を一貫して超越している。
論文 参考訳（メタデータ） (2024-05-23T07:48:19Z) - A Variational Perspective on Solving Inverse Problems with Diffusion
Models [101.831766524264]
逆タスクは、データ上の後続分布を推測するものとして定式化することができる。
しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。
そこで我々は,真の後続分布を近似する設計手法を提案する。
論文 参考訳（メタデータ） (2023-05-07T23:00:47Z) - Stable Target Field for Reduced Variance Score Estimation in Diffusion
Models [5.9115407007859755]
拡散モデルは、固定された前方拡散過程を反転させてサンプルを生成する。
このような分散の源泉は、中間雑音分散スケールの取り扱いにあると論じる。
より安定したトレーニングターゲットとして重み付けされた条件スコアを計算するために使用する参照バッチを組み込むことにより、この問題を修復することを提案する。
論文 参考訳（メタデータ） (2023-02-01T18:57:01Z) - Feature-Distribution Perturbation and Calibration for Generalized Person
ReID [47.84576229286398]
人物再識別(ReID)は、視覚認識のためのディープラーニングの急速な発展とともに、過去10年間で著しく進歩してきた。
本稿では,人物ReIDの一般的な特徴表現を導出する特徴分布摂動一般化法を提案する。
論文 参考訳（メタデータ） (2022-05-23T11:06:12Z) - Non-Local Latent Relation Distillation for Self-Adaptive 3D Human Pose
Estimation [63.199549837604444]
3次元ポーズ推定アプローチは、強い(2D/3Dポーズ)または弱い(複数ビューまたは深さ)ペアによる監督の異なる形態を利用する。
我々は3Dポーズ学習を,ラベル付きソースドメインから完全に損なわれないターゲットへのタスク知識の転送を目的とした,自己指導型適応問題として捉えた。
我々は、異なる自己適応設定を評価し、標準ベンチマークで最先端の3Dポーズ推定性能を示す。
論文 参考訳（メタデータ） (2022-04-05T03:52:57Z) - Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose
Estimation [70.32536356351706]
本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。
ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。
本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2022-03-29T07:14:58Z) - Self-Conditioned Generative Adversarial Networks for Image Editing [61.50205580051405]
Generative Adversarial Networks (GAN) はバイアスの影響を受けやすい。
我々は、このバイアスが公平性だけでなく、分布のコアから逸脱する際の潜在トラバース編集手法の崩壊に重要な役割を果たしていると論じる。
論文 参考訳（メタデータ） (2022-02-08T18:08:24Z) - Orthogonal Jacobian Regularization for Unsupervised Disentanglement in
Image Generation [64.92152574895111]
直交ジャコビアン正規化法(OroJaR)を提案する。
提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
論文 参考訳（メタデータ） (2021-08-17T15:01:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。