論文の概要: Text-to-3D with Classifier Score Distillation

• arxiv url: http://arxiv.org/abs/2310.19415v2
• Date: Tue, 31 Oct 2023 05:44:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 20:44:53.754362
• Title: Text-to-3D with Classifier Score Distillation
• Title（参考訳）: 分類器のスコア蒸留によるテキストから3D
• Authors: Xin Yu, Yuan-Chen Guo, Yangguang Li, Ding Liang, Song-Hai Zhang, Xiaojuan Qi
• Abstract要約: クラシファイアフリーガイダンスは最も必須ではなく、補助的なトリックだと考えられている。 我々はこの手法をスコア蒸留 (CSD) と名付け, 生成のための暗黙の分類モデルを用いて解釈できる。 我々は,形状生成,テクスチャ合成,形状編集など,テキストから3Dまでの各種タスクにおけるCSDの有効性を検証した。
• 参考スコア（独自算出の注目度）: 80.14832887529259
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-3D generation has made remarkable progress recently, particularly with methods based on Score Distillation Sampling (SDS) that leverages pre-trained 2D diffusion models. While the usage of classifier-free guidance is well acknowledged to be crucial for successful optimization, it is considered an auxiliary trick rather than the most essential component. In this paper, we re-evaluate the role of classifier-free guidance in score distillation and discover a surprising finding: the guidance alone is enough for effective text-to-3D generation tasks. We name this method Classifier Score Distillation (CSD), which can be interpreted as using an implicit classification model for generation. This new perspective reveals new insights for understanding existing techniques. We validate the effectiveness of CSD across a variety of text-to-3D tasks including shape generation, texture synthesis, and shape editing, achieving results superior to those of state-of-the-art methods. Our project page is https://xinyu-andy.github.io/Classifier-Score-Distillation
• Abstract（参考訳）: 特にSDS(Score Distillation Sampling)に基づく2次元拡散モデルを用いた手法では,テキスト・ツー・3D生成は顕著な進歩を遂げている。 分類器フリーガイダンスの使用は最適化の成功に不可欠であると認識されているが、最も重要な要素というよりは補助的なトリックであると考えられている。 本稿では,スコア蒸留における分類器なし指導の役割を再評価し,驚くべき発見を見いだす。 そこで本手法をCSD (Classifier Score Distillation) と命名し, 生成に暗黙の分類モデルを用いると解釈できる。 この新しい視点は、既存のテクニックを理解するための新しい洞察を示しています。 形状生成,テクスチャ合成,形状編集など,様々なテキストから3dタスクにおけるcsdの有効性を検証し,最先端手法よりも優れた結果を得る。 私たちのプロジェクトページはhttps://xinyu-andy.github.io/Classifier-Score-Distillationです。

関連論文リスト

• Semantic Score Distillation Sampling for Compositional Text-to-3D Generation [28.88237230872795]
  テキスト記述から高品質な3Dアセットを生成することは、コンピュータグラフィックスと視覚研究において重要な課題である。 本稿では,合成テキストから3D生成までの表現性と精度の向上を目的とした新しいSDS手法を提案する。 我々のアプローチは、異なるレンダリングビュー間の一貫性を維持する新しいセマンティック埋め込みを統合する。 明示的な意味指導を活用することで,既存の事前学習拡散モデルの構成能力を解き放つ。
  論文  参考訳（メタデータ） (2024-10-11T17:26:00Z)
• Open Vocabulary 3D Scene Understanding via Geometry Guided Self-Distillation [67.36775428466045]
  2次元事前学習モデルから優れた3次元表現を学習するための幾何学ガイド自己蒸留(GGSD)を提案する。 3D表現の利点により、蒸留した3D学生モデルの性能は2D教師モデルよりも大幅に上回ることができる。
  論文  参考訳（メタデータ） (2024-07-18T10:13:56Z)
• VividDreamer: Towards High-Fidelity and Efficient Text-to-3D Generation [69.68568248073747]
  拡散に基づく3次元生成タスクにおいて, ポーズ依存型連続蒸留サンプリング (PCDS) を提案する。 PCDSは拡散軌道内でポーズ依存整合関数を構築し、最小サンプリングステップで真の勾配を近似することができる。 そこで我々は,まず1ステップのPCDSを用いて3Dオブジェクトの基本構造を作成し,さらに徐々にPCDSのステップを拡大して細かな細部を生成する,粗大な最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-21T08:21:52Z)
• 3D Open-Vocabulary Panoptic Segmentation with 2D-3D Vision-Language Distillation [40.49322398635262]
  本稿では,3次元オープンボキャブラリパノプタセグメンテーションのための最初の手法を提案する。 我々のモデルは、学習可能なLiDAR機能と密集した凍結視覚CLIP機能との融合を利用する。 本稿では,オブジェクトレベルの蒸留損失とボクセルレベルの蒸留損失の2つの新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2024-01-04T18:39:32Z)
• Taming Mode Collapse in Score Distillation for Text-to-3D Generation [70.32101198891465]
  Janus"アーティファクトはテキストから3D生成における問題であり、生成されたオブジェクトは複数のフロントフェイスで各ビューを偽装する。 エントロピースコア蒸留(Entropic Score Distillation, ESD)と呼ばれる新しい3Dスコア蒸留法を提案する。 恥ずかしいほど単純ではないが,我々はESDがJanusアーティファクトのスコア蒸留に有効であることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-12-31T22:47:06Z)
• RL Dreams: Policy Gradient Optimization for Score Distillation based 3D Generation [15.154441074606101]
  スコア蒸留サンプリング(SDS)に基づくレンダリングは、3Dアセット生成を大幅に改善した。 DDPO3Dは2次元拡散モデルから3次元レンダリングを改善するために、審美的スコアリングを伴うタンデムのポリシー勾配法を用いている。 提案手法は, 種々の報酬関数を生成過程に組み込むための, 蒸留法と互換性がある。
  論文  参考訳（メタデータ） (2023-12-08T02:41:04Z)
• LucidDreamer: Towards High-Fidelity Text-to-3D Generation via Interval Score Matching [33.696757740830506]
  テキストから3D生成の最近の進歩は、将来性を示している。 多くの手法がSDS(Score Distillation Sampling)に基づいている。 オーバー・スムーシングに対抗するために,ISM(Interval Score Matching)を提案する。
  論文  参考訳（メタデータ） (2023-11-19T09:59:09Z)
• Distilling Coarse-to-Fine Semantic Matching Knowledge for Weakly Supervised 3D Visual Grounding [58.924180772480504]
  3Dビジュアルグラウンドリングは、所定の文クエリに対応する3Dシーンでターゲットオブジェクトを見つけることを含む。 弱教師付きアノテーションを利用して3次元視覚的接地モデルを学ぶことを提案する。 オブジェクトの提案と文のセマンティックな類似性を粗大な方法で解析する新しいセマンティックマッチングモデルを設計する。
  論文  参考訳（メタデータ） (2023-07-18T13:49:49Z)
• Semi-Supervised Single-View 3D Reconstruction via Prototype Shape Priors [79.80916315953374]
  本研究では,3次元再構成のための半教師付きフレームワークであるSSP3Dを提案する。 本稿では,現実的なオブジェクト再構成を導くために,注意誘導型プロトタイプ形状先行モジュールを提案する。 実世界のPix3Dデータセットに10%のラベリング比で転送する場合も,本手法は良好に機能する。
  論文  参考訳（メタデータ） (2022-09-30T11:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。