論文の概要: Diffusion 3D Features (Diff3F): Decorating Untextured Shapes with Distilled Semantic Features

• arxiv url: http://arxiv.org/abs/2311.17024v2
• Date: Tue, 2 Apr 2024 19:11:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 16:30:45.379353
• Title: Diffusion 3D Features (Diff3F): Decorating Untextured Shapes with Distilled Semantic Features
• Title（参考訳）: 拡散3次元特徴量(Diff3F) : 意味的特徴量による非テクスチャ形状のデコレーション
• Authors: Niladri Shekhar Dutt, Sanjeev Muralikrishnan, Niloy J. Mitra,
• Abstract要約: Diff3Fは、非テクスチャ入力のためのクラスに依存しない特徴記述子である。 画像基礎モデルから入力形状への拡散特性を蒸留する。 その過程で2次元で(拡散)特徴を生成し、その後、元の表面に持ち上げて集約する。
• 参考スコア（独自算出の注目度）: 27.44390031735071
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Diff3F as a simple, robust, and class-agnostic feature descriptor that can be computed for untextured input shapes (meshes or point clouds). Our method distills diffusion features from image foundational models onto input shapes. Specifically, we use the input shapes to produce depth and normal maps as guidance for conditional image synthesis. In the process, we produce (diffusion) features in 2D that we subsequently lift and aggregate on the original surface. Our key observation is that even if the conditional image generations obtained from multi-view rendering of the input shapes are inconsistent, the associated image features are robust and, hence, can be directly aggregated across views. This produces semantic features on the input shapes, without requiring additional data or training. We perform extensive experiments on multiple benchmarks (SHREC'19, SHREC'20, FAUST, and TOSCA) and demonstrate that our features, being semantic instead of geometric, produce reliable correspondence across both isometric and non-isometrically related shape families. Code is available via the project page at https://diff3f.github.io/
• Abstract（参考訳）: 我々は、Diff3Fを単純で堅牢でクラスに依存しない特徴記述子として提示する。 本手法は,画像基礎モデルから入力形状への拡散特性を蒸留する。 具体的には、入力形状を用いて、条件付き画像合成のガイダンスとして深度と正規マップを生成する。 その過程で2次元で(拡散)特徴を生成し、その後、元の表面に持ち上げて集約する。 我々のキーとなる観察は、入力形状のマルチビューレンダリングから得られた条件付き画像生成が矛盾しているとしても、関連する画像特徴は堅牢であり、したがって、ビュー間で直接集約できるということである。 これにより、追加のデータやトレーニングを必要とせずに、入力フォームのセマンティックな特徴が生成される。 我々は、複数のベンチマーク(SHREC'19, SHREC'20, FAUST, TOSCA)で広範な実験を行い、幾何学的ではなく意味論的であり、等尺的および非等尺的な形状のファミリ間の信頼性の高い対応性を示す。 コードはプロジェクトページ(https://diff3f.github.io/)から入手できる。

関連論文リスト

• DiffComplete: Diffusion-based Generative 3D Shape Completion [114.43353365917015]
  3次元レンジスキャンにおける形状完成のための拡散に基づく新しいアプローチを提案する。 私たちはリアリズム、マルチモダリティ、高忠実さのバランスを取ります。 DiffCompleteは2つの大規模3次元形状補完ベンチマークに新しいSOTA性能を設定する。
  論文  参考訳（メタデータ） (2023-06-28T16:07:36Z)
• Zero-Shot 3D Shape Correspondence [67.18775201037732]
  本稿では,3次元形状間の対応性を計算するためのゼロショット手法を提案する。 我々は、最近の基礎モデルの言語と視覚における例外的な推論能力を活用している。 提案手法は, 強い非等尺形状の間において, ゼロショット方式で高確率な結果をもたらす。
  論文  参考訳（メタデータ） (2023-06-05T21:14:23Z)
• NAISR: A 3D Neural Additive Model for Interpretable Shape Representation [10.284366517948929]
  科学的な形状発見のための解釈可能な形状表現のための3次元ニューラル付加モデル(テキストNAISR$)を提案する。 本手法は, 形状人口の傾向を把握し, 形状移動による患者固有の予測を可能にする。 我々の実験は、textitStarman$が解釈可能性を維持しながら優れた形状復元性能を発揮することを示した。
  論文  参考訳（メタデータ） (2023-03-16T11:18:04Z)
• DiffusionSDF: Conditional Generative Modeling of Signed Distance Functions [42.015077094731815]
  DiffusionSDFは、形状の完全化、単一ビュー再構成、および実走査点雲の再構成のための生成モデルである。 我々は、ニューラルネットワークを介して様々な信号(点雲、2次元画像など)の幾何をパラメータ化するために、ニューラルネットワークに署名された距離関数(SDF)を用いる。
  論文  参考訳（メタデータ） (2022-11-24T18:59:01Z)
• Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
  カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。 我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。 我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:42:31Z)
• 3D Shape Reconstruction from 2D Images with Disentangled Attribute Flow [61.62796058294777]
  単一の2D画像から3D形状を再構築することは難しい作業だ。 従来の手法の多くは3次元再構成作業における意味的属性の抽出に苦慮している。 本稿では,3DAttriFlowを用いて,入力画像の異なる意味レベルから意味的属性を抽出する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-29T02:03:31Z)
• ShapeFormer: Transformer-based Shape Completion via Sparse Representation [41.33457875133559]
  本稿では,不完全でノイズの多い点雲に条件付きオブジェクト完了の分布を生成するネットワークであるShapeFormerを提案する。 結果の分布をサンプリングして、入力に忠実な状態で、それぞれがもっともらしい形状の詳細を示す、可能性のある完了を生成する。
  論文  参考訳（メタデータ） (2022-01-25T13:58:30Z)
• Hard Example Generation by Texture Synthesis for Cross-domain Shape Similarity Learning [97.56893524594703]
  画像に基づく3次元形状検索(IBSR)は、与えられた2次元画像の対応する3次元形状を、大きな3次元形状データベースから見つけることを目的としている。 いくつかの適応技法によるメートル法学習は、類似性学習を形作るための自然な解決策のようです。 テクスチャ合成を応用した幾何中心の多視点メトリック学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2020-10-23T08:52:00Z)
• Implicit Functions in Feature Space for 3D Shape Reconstruction and Completion [53.885984328273686]
  Implicit Feature Networks (IF-Nets) は連続的な出力を提供し、複数のトポロジを扱える。 IF-NetsはShapeNetにおける3次元オブジェクト再構成における先行作業よりも明らかに優れており、より正確な3次元人間の再構成が得られる。
  論文  参考訳（メタデータ） (2020-03-03T11:14:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。