論文の概要: Viewpoint Consistency in 3D Generation via Attention and CLIP Guidance

• arxiv url: http://arxiv.org/abs/2412.02287v1
• Date: Tue, 03 Dec 2024 09:05:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:44:29.878115
• Title: Viewpoint Consistency in 3D Generation via Attention and CLIP Guidance
• Title（参考訳）: 注意とCLIP誘導による3次元生成の視点整合性
• Authors: Qing Zhang, Zehao Chen, Jinguang Tong, Jing Zhang, Jie Hong, Xuesong Li,
• Abstract要約: 現在の手法はしばしば幾何学的矛盾に悩まされ、一般にヤヌス問題と呼ばれる。 本稿では,拡散モデルにおけるジャナス問題の根本原因である視点生成バイアスを明らかにする。 本稿では,Attention and CLIP Guidance (ACG) 機構と呼ばれるチューニング不要な手法を提案する。
• 参考スコア（独自算出の注目度）: 18.774968093601334
• License:
• Abstract: Despite recent advances in text-to-3D generation techniques, current methods often suffer from geometric inconsistencies, commonly referred to as the Janus Problem. This paper identifies the root cause of the Janus Problem: viewpoint generation bias in diffusion models, which creates a significant gap between the actual generated viewpoint and the expected one required for optimizing the 3D model. To address this issue, we propose a tuning-free approach called the Attention and CLIP Guidance (ACG) mechanism. ACG enhances desired viewpoints by adaptively controlling cross-attention maps, employs CLIP-based view-text similarities to filter out erroneous viewpoints, and uses a coarse-to-fine optimization strategy with staged prompts to progressively refine 3D generation. Extensive experiments demonstrate that our method significantly reduces the Janus Problem without compromising generation speed, establishing ACG as an efficient, plug-and-play component for existing text-to-3D frameworks.
• Abstract（参考訳）: 近年のテキストから3D生成技術の発展にもかかわらず、現在の手法はしばしば幾何学的不整合に悩まされ、一般にジャヌス問題と呼ばれる。 拡散モデルにおける視点生成バイアスは,実際の視点と3次元モデルの最適化に必要な期待値との間に大きなギャップを生じさせる。 この問題に対処するために,Attention and CLIP Guidance (ACG) 機構と呼ばれるチューニング不要の手法を提案する。 ACGは、クロスアテンションマップを適応的に制御することで、望まれる視点を強化し、CLIPベースのビューテキスト類似性を用いて誤った視点をフィルタリングし、ステージドプロンプトによる粗い最適化戦略を用いて3D生成を段階的に洗練する。 大規模な実験により,本手法は生成速度を損なうことなくJanus問題を大幅に低減し,既存のテキスト・ツー・3Dフレームワークの効率的なプラグ・アンド・プレイコンポーネントとしてACGを確立した。

関連論文リスト

• RIGI: Rectifying Image-to-3D Generation Inconsistency via Uncertainty-aware Learning [27.4552892119823]
  マルチビュースナップショットの不整合は、しばしばオブジェクト境界に沿ってノイズやアーティファクトを導入し、3D再構成プロセスを損なう。 3次元ガウススプラッティング(3DGS)を3次元再構成に利用し,不確実性認識学習を再現プロセスに統合する。 適応的な画素単位の損失重み付けを適用してモデルを正規化し、不確実領域における再構成強度を低減させる。
  論文  参考訳（メタデータ） (2024-11-28T02:19:28Z)
• MVGaussian: High-Fidelity text-to-3D Content Generation with Multi-View Guidance and Surface Densification [13.872254142378772]
  本稿では,テキスト・ツー・3Dコンテンツ生成のための統合フレームワークを提案する。 提案手法は3次元モデルの構造を反復的に形成するために多視点誘導を利用する。 また,表面近傍にガウスを配向させる新しい密度化アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-09-10T16:16:34Z)
• Geometry-Aware Score Distillation via 3D Consistent Noising and Gradient Consistency Modeling [31.945761751215134]
  我々は,3次元一貫したノイズ発生,幾何に基づく勾配のゆらぎ,新しい勾配のゆらぎの損失を導入する。 我々は,テキスト・ツー・3次元生成タスクにおける幾何学的不整合を最小限のコストで解決し,既存のスコア蒸留モデルとの整合性を実現した。
  論文  参考訳（メタデータ） (2024-06-24T14:58:17Z)
• VividDreamer: Towards High-Fidelity and Efficient Text-to-3D Generation [69.68568248073747]
  拡散に基づく3次元生成タスクにおいて, ポーズ依存型連続蒸留サンプリング (PCDS) を提案する。 PCDSは拡散軌道内でポーズ依存整合関数を構築し、最小サンプリングステップで真の勾配を近似することができる。 そこで我々は,まず1ステップのPCDSを用いて3Dオブジェクトの基本構造を作成し,さらに徐々にPCDSのステップを拡大して細かな細部を生成する,粗大な最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-21T08:21:52Z)
• GECO: Generative Image-to-3D within a SECOnd [51.20830808525894]
  本稿では,1秒以内に動作する高品質な3次元生成モデリング手法GECOを紹介する。 GECOは、前例のないレベルの効率で高品質な3Dメッシュ生成を実現する。
  論文  参考訳（メタデータ） (2024-05-30T17:58:00Z)
• 3D Face Modeling via Weakly-supervised Disentanglement Network joint Identity-consistency Prior [62.80458034704989]
  切り離された制御因子を特徴とする3次元顔モデルの生成は、コンピュータビジョンやコンピュータグラフィックスの多様な応用において大きな可能性を秘めている。 従来の3D顔モデリング手法は、これらの要因を効果的に解消するために特定のラベルを要求するため、課題に直面している。 本稿では,WSDF(Wakly Supervised Disentanglement Framework)を導入し,過度に拘束的なラベル付けを必要とせず,制御可能な3次元顔モデルのトレーニングを容易にする。
  論文  参考訳（メタデータ） (2024-04-25T11:50:47Z)
• Learn to Optimize Denoising Scores for 3D Generation: A Unified and Improved Diffusion Prior on NeRF and 3D Gaussian Splatting [60.393072253444934]
  本稿では,3次元生成タスクの拡散先行性向上を目的とした統合フレームワークを提案する。 拡散先行と拡散モデルの訓練手順の相違を同定し、3次元生成の質を著しく損なう。
  論文  参考訳（メタデータ） (2023-12-08T03:55:34Z)
• LucidDreamer: Towards High-Fidelity Text-to-3D Generation via Interval Score Matching [33.696757740830506]
  テキストから3D生成の最近の進歩は、将来性を示している。 多くの手法がSDS(Score Distillation Sampling)に基づいている。 オーバー・スムーシングに対抗するために,ISM(Interval Score Matching)を提案する。
  論文  参考訳（メタデータ） (2023-11-19T09:59:09Z)
• Instant3D: Instant Text-to-3D Generation [101.25562463919795]
  Instant3Dと呼ばれる高速テキストから3D生成のための新しいフレームワークを提案する。 Instant3Dはフィードフォワードネットワークの単一実行で1秒未満で、目に見えないテキストプロンプトのための3Dオブジェクトを作成することができる。
  論文  参考訳（メタデータ） (2023-11-14T18:59:59Z)
• EfficientDreamer: High-Fidelity and Robust 3D Creation via Orthogonal-view Diffusion Prior [59.25950280610409]
  直交ビュー画像誘導を利用した高画質な3Dコンテンツ生成パイプラインを提案する。 本稿では,与えられたテキストプロンプトに基づいて4つのサブイメージからなる画像を生成する2次元拡散モデルを提案する。 また,生成した3Dコンテンツの詳細をさらに改善する3D合成ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-25T07:39:26Z)
• Debiasing Scores and Prompts of 2D Diffusion for View-consistent Text-to-3D Generation [38.032010026146146]
  ビュー一貫性テキスト・ツー・3D生成のためのスコア蒸留フレームワークをデバイアス化する2つの手法を提案する。 最も顕著な問題の1つは、オブジェクトの最も標準的なビューが他のビューに現れるJanus問題である。 提案手法は, 生成した3次元オブジェクトの現実性を著しく低減し, 2次元拡散モデルへの忠実さと, オーバーヘッドの少ない3次元一貫性との良好なトレードオフを実現する。
  論文  参考訳（メタデータ） (2023-03-27T17:31:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。