論文の概要: MeshUp: Multi-Target Mesh Deformation via Blended Score Distillation

• arxiv url: http://arxiv.org/abs/2408.14899v1
• Date: Tue, 27 Aug 2024 09:23:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 14:23:37.076229
• Title: MeshUp: Multi-Target Mesh Deformation via Blended Score Distillation
• Title（参考訳）: MeshUp: ブレンドスコア蒸留によるマルチターゲットメッシュ変形
• Authors: Hyunwoo Kim, Itai Lang, Noam Aigerman, Thibault Groueix, Vladimir G. Kim, Rana Hanocka,
• Abstract要約: 複数のターゲット概念に対して3Dメッシュを変形させる手法であるMeshUpを提案する。 概念はテキストクエリ、例えば「犬」や「カメ」、インスピレーションのあるイメージとして定義することができる。 概念の影響を効果的に制御し, 新規なスコア蒸留手法を用いて混合することができる。
• 参考スコア（独自算出の注目度）: 33.425710538320956
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose MeshUp, a technique that deforms a 3D mesh towards multiple target concepts, and intuitively controls the region where each concept is expressed. Conveniently, the concepts can be defined as either text queries, e.g., "a dog" and "a turtle," or inspirational images, and the local regions can be selected as any number of vertices on the mesh. We can effectively control the influence of the concepts and mix them together using a novel score distillation approach, referred to as the Blended Score Distillation (BSD). BSD operates on each attention layer of the denoising U-Net of a diffusion model as it extracts and injects the per-objective activations into a unified denoising pipeline from which the deformation gradients are calculated. To localize the expression of these activations, we create a probabilistic Region of Interest (ROI) map on the surface of the mesh, and turn it into 3D-consistent masks that we use to control the expression of these activations. We demonstrate the effectiveness of BSD empirically and show that it can deform various meshes towards multiple objectives.
• Abstract（参考訳）: 複数のターゲット概念に対して3Dメッシュを変形させる手法であるMeshUpを提案し、各概念が表現される領域を直感的に制御する。 同様に、概念はテキストクエリ、例えば「犬」や「カメ」、あるいはインスピレーション付きイメージとして定義することができ、局所領域はメッシュ上の任意の数の頂点として選択することができる。 我々は、Blended Score Distillation (BSD)と呼ばれる新しいスコア蒸留手法を用いて、概念の影響を効果的に制御し、それらを混合することができる。 BSDは拡散モデルの縮退するU-Netの各注意層上で、変形勾配が計算される統一された縮退パイプラインに対象ごとの活性化を抽出し注入する。 これらのアクティベーションの発現を局在化するために、メッシュ表面の確率論的関心領域(ROI)マップを作成し、これらのアクティベーションの発現を制御するために使用する3D一貫性マスクに変換する。 BSDの有効性を実証的に示し、様々なメッシュを複数の目的に向けて変形させることができることを示す。

関連論文リスト

• DMesh++: An Efficient Differentiable Mesh for Complex Shapes [51.75054400014161]
  2次元および3次元に新しい微分可能なメッシュ処理法を導入する。 メッシュ分解能を2次元の局所幾何学に適応させて効率よく表現するアルゴリズムを提案する。 本研究では,2次元ポイントクラウドと3次元マルチビュー再構成タスクにおけるアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-12-21T21:16:03Z)
• NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
  NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。 我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
  論文  参考訳（メタデータ） (2024-11-25T07:57:17Z)
• XMask3D: Cross-modal Mask Reasoning for Open Vocabulary 3D Semantic Segmentation [72.12250272218792]
  本稿では,3次元特徴量と2次元テキスト埋め込み空間とのより精巧なマスクレベルのアライメントを,クロスモーダルマスク推論フレームワークであるXMask3Dを用いて提案する。 我々は、3Dグローバルな特徴を暗黙の条件として、事前訓練された2D denoising UNetに統合し、セグメンテーションマスクの生成を可能にする。 生成した2Dマスクを用いて、マスクレベルの3D表現を視覚言語の特徴空間と整合させ、3D幾何埋め込みの開語彙能力を増大させる。
  論文  参考訳（メタデータ） (2024-11-20T12:02:12Z)
• DMesh: A Differentiable Mesh Representation [40.800084296073415]
  DMeshは一般的な3次元三角形メッシュの微分可能表現である。 まず、重み付きデラウネー三角測量(WDT)に基づいて、領域をコンパクトにテセルレートする凸四面体(convex tetrahedra)の集合を得る。 我々は、WDTに基づいて、実際の表面に存在する顔の確率を微分可能な方法で定式化する。
  論文  参考訳（メタデータ） (2024-04-20T18:52:51Z)
• ShapeFusion: A 3D diffusion model for localized shape editing [37.82690898932135]
  本研究では,任意の形状領域の局所的な操作を容易にする効果的な拡散マスキングトレーニング戦略を提案する。 現在の最先端技術と比較して、我々の手法は遅延コード状態に依存する方法よりも解釈可能な形状操作をもたらす。
  論文  参考訳（メタデータ） (2024-03-28T18:50:19Z)
• 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with 2D Diffusion Models [102.75875255071246]
  テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。 2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-09T15:51:27Z)
• Background Activation Suppression for Weakly Supervised Object Localization and Semantic Segmentation [84.62067728093358]
  弱教師付きオブジェクトローカライゼーションとセマンティックセグメンテーションは、画像レベルのラベルのみを使用してオブジェクトをローカライズすることを目的としている。 画素レベルのローカライゼーションを実現するために,フォアグラウンド予測マップを生成することで,新たなパラダイムが誕生した。 本稿では,物体の局在化学習過程に関する2つの驚くべき実験結果を示す。
  論文  参考訳（メタデータ） (2023-09-22T15:44:10Z)
• Bridging the Domain Gap: Self-Supervised 3D Scene Understanding with Foundation Models [18.315856283440386]
  ファンデーションモデルは、イメージセグメンテーション、オブジェクト検出、視覚言語理解といった2Dおよび言語タスクにおいて顕著な成果を上げている。 3Dシーンの表現学習を豊かにする能力は、ドメインギャップの存在によってほとんど失われる。 そこで我々は,Bridge3Dと呼ばれる斬新な手法を提案し,特徴,セマンティックマスク,基礎モデルからのソースキャプションを用いた3Dモデルの事前学習を行った。
  論文  参考訳（メタデータ） (2023-05-15T16:36:56Z)
• Panoptic Lifting for 3D Scene Understanding with Neural Fields [32.59498558663363]
  そこで本研究では,撮影シーンの画像からパノプティカル3D表現を学習するための新しい手法を提案する。 本手法では,事前学習ネットワークから推定される2次元空間分割マスクのみを必要とする。 実験結果は、Hypersim、Replica、ScanNetデータセットに挑戦するアプローチを検証する。
  論文  参考訳（メタデータ） (2022-12-19T19:15:36Z)
• Subdivision-Based Mesh Convolution Networks [38.09613983540932]
  畳み込みニューラルネットワーク(CNN)は、2Dコンピュータビジョンにおいて大きなブレークスルーをもたらした。 本稿では,ループ分割シーケンス接続を伴う3次元トライアングルメッシュのための新しいCNNフレームワークSubdivNetを提案する。 メッシュ分類,セグメンテーション,対応,実世界からの検索実験により,SubdivNetの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2021-06-04T06:50:34Z)
• DH3D: Deep Hierarchical 3D Descriptors for Robust Large-Scale 6DoF Relocalization [56.15308829924527]
  生の3D点から直接3次元特徴の検出と記述を共同で学習するシームズネットワークを提案する。 3次元キーポイントを検出するために,局所的な記述子の識別性を教師なしで予測する。 各種ベンチマーク実験により,本手法はグローバルポイントクラウド検索とローカルポイントクラウド登録の両面で競合する結果が得られた。
  論文  参考訳（メタデータ） (2020-07-17T20:21:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。