論文の概要: MeshUp: Multi-Target Mesh Deformation via Blended Score Distillation

• arxiv url: http://arxiv.org/abs/2408.14899v1
• Date: Tue, 27 Aug 2024 09:23:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 14:23:37.076229
• Title: MeshUp: Multi-Target Mesh Deformation via Blended Score Distillation
• Title（参考訳）: MeshUp: ブレンドスコア蒸留によるマルチターゲットメッシュ変形
• Authors: Hyunwoo Kim, Itai Lang, Noam Aigerman, Thibault Groueix, Vladimir G. Kim, Rana Hanocka,
• Abstract要約: 複数のターゲット概念に対して3Dメッシュを変形させる手法であるMeshUpを提案する。 概念はテキストクエリ、例えば「犬」や「カメ」、インスピレーションのあるイメージとして定義することができる。 概念の影響を効果的に制御し, 新規なスコア蒸留手法を用いて混合することができる。
• 参考スコア（独自算出の注目度）: 33.425710538320956
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose MeshUp, a technique that deforms a 3D mesh towards multiple target concepts, and intuitively controls the region where each concept is expressed. Conveniently, the concepts can be defined as either text queries, e.g., "a dog" and "a turtle," or inspirational images, and the local regions can be selected as any number of vertices on the mesh. We can effectively control the influence of the concepts and mix them together using a novel score distillation approach, referred to as the Blended Score Distillation (BSD). BSD operates on each attention layer of the denoising U-Net of a diffusion model as it extracts and injects the per-objective activations into a unified denoising pipeline from which the deformation gradients are calculated. To localize the expression of these activations, we create a probabilistic Region of Interest (ROI) map on the surface of the mesh, and turn it into 3D-consistent masks that we use to control the expression of these activations. We demonstrate the effectiveness of BSD empirically and show that it can deform various meshes towards multiple objectives.
• Abstract（参考訳）: 複数のターゲット概念に対して3Dメッシュを変形させる手法であるMeshUpを提案し、各概念が表現される領域を直感的に制御する。 同様に、概念はテキストクエリ、例えば「犬」や「カメ」、あるいはインスピレーション付きイメージとして定義することができ、局所領域はメッシュ上の任意の数の頂点として選択することができる。 我々は、Blended Score Distillation (BSD)と呼ばれる新しいスコア蒸留手法を用いて、概念の影響を効果的に制御し、それらを混合することができる。 BSDは拡散モデルの縮退するU-Netの各注意層上で、変形勾配が計算される統一された縮退パイプラインに対象ごとの活性化を抽出し注入する。 これらのアクティベーションの発現を局在化するために、メッシュ表面の確率論的関心領域(ROI)マップを作成し、これらのアクティベーションの発現を制御するために使用する3D一貫性マスクに変換する。 BSDの有効性を実証的に示し、様々なメッシュを複数の目的に向けて変形させることができることを示す。

関連論文リスト

• PMPNet: Pixel Movement Prediction Network for Monocular Depth Estimation in Dynamic Scenes [7.736445799116692]
  動的シーンにおける単眼深度推定のための新しい手法を提案する。 まず,動的シーンにおける物体の運動軌跡の任意性について理論的に検討する。 エッジ周辺の深度不整合を克服するために,変形可能なサポートウィンドウモジュールを提案する。
  論文  参考訳（メタデータ） (2024-11-04T03:42:29Z)
• ShapeFusion: A 3D diffusion model for localized shape editing [37.82690898932135]
  本研究では,任意の形状領域の局所的な操作を容易にする効果的な拡散マスキングトレーニング戦略を提案する。 現在の最先端技術と比較して、我々の手法は遅延コード状態に依存する方法よりも解釈可能な形状操作をもたらす。
  論文  参考訳（メタデータ） (2024-03-28T18:50:19Z)
• Controllable Text-to-3D Generation via Surface-Aligned Gaussian Splatting [9.383423119196408]
  本稿では,既存の多視点拡散モデルを強化するために設計されたニューラルネットワークアーキテクチャであるMulti-view ControlNet(MVControl)を紹介する。 MVControlは最適化ベースの3D生成のための3D拡散ガイダンスを提供することができる。 効率性を追求するために、一般的に使用される暗黙の表現の代わりに、3Dガウスを表現として採用する。
  論文  参考訳（メタデータ） (2024-03-15T02:57:20Z)
• Background Activation Suppression for Weakly Supervised Object Localization and Semantic Segmentation [84.62067728093358]
  弱教師付きオブジェクトローカライゼーションとセマンティックセグメンテーションは、画像レベルのラベルのみを使用してオブジェクトをローカライズすることを目的としている。 画素レベルのローカライゼーションを実現するために,フォアグラウンド予測マップを生成することで,新たなパラダイムが誕生した。 本稿では,物体の局在化学習過程に関する2つの驚くべき実験結果を示す。
  論文  参考訳（メタデータ） (2023-09-22T15:44:10Z)
• Diffusion-based 3D Object Detection with Random Boxes [58.43022365393569]
  既存のアンカーベースの3D検出方法は、アンカーの実証的な設定に依存しており、アルゴリズムはエレガンスを欠いている。 提案するDiff3Detは,検出ボックスを生成対象として考慮し,拡散モデルから3次元オブジェクト検出のための提案生成へ移行する。 推論段階では、モデルは予測結果にランダムボックスのセットを徐々に洗練する。
  論文  参考訳（メタデータ） (2023-09-05T08:49:53Z)
• Panoptic Lifting for 3D Scene Understanding with Neural Fields [32.59498558663363]
  そこで本研究では,撮影シーンの画像からパノプティカル3D表現を学習するための新しい手法を提案する。 本手法では,事前学習ネットワークから推定される2次元空間分割マスクのみを必要とする。 実験結果は、Hypersim、Replica、ScanNetデータセットに挑戦するアプローチを検証する。
  論文  参考訳（メタデータ） (2022-12-19T19:15:36Z)
• Shap-CAM: Visual Explanations for Convolutional Neural Networks based on Shapley Value [86.69600830581912]
  クラスアクティベーションマッピングに基づくShap-CAMと呼ばれる新しい視覚的説明法を開発した。 我々は,Shap-CAMが意思決定プロセスの解釈において,より良い視覚的性能と公平性を実現することを実証した。
  論文  参考訳（メタデータ） (2022-08-07T00:59:23Z)
• Spherical Transformer: Adapting Spherical Signal to CNNs [53.18482213611481]
  Spherical Transformerは、球状信号を標準CNNで直接処理できるベクトルに変換できます。 我々は,球面MNIST認識,3次元オブジェクト分類,全方向画像セマンティックセグメンテーションの課題に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2021-01-11T12:33:16Z)
• Primal-Dual Mesh Convolutional Neural Networks [62.165239866312334]
  本稿では,グラフ・ニューラル・ネットワークの文献からトライアングル・メッシュへ引き起こされた原始双対のフレームワークを提案する。 提案手法は,3次元メッシュのエッジと顔の両方を入力として特徴付け,動的に集約する。 メッシュ単純化の文献から得られたツールを用いて、我々のアプローチに関する理論的知見を提供する。
  論文  参考訳（メタデータ） (2020-10-23T14:49:02Z)
• Stereo RGB and Deeper LIDAR Based Network for 3D Object Detection [40.34710686994996]
  3Dオブジェクト検出は、自動運転のシナリオにおいて新たな課題となっている。 以前の作業では、プロジェクションベースまたはボクセルベースのモデルを使用して3Dポイントクラウドを処理していた。 本稿では,意味情報と空間情報の同時利用が可能なStereo RGBおよびDeeper LIDARフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-09T11:19:24Z)
• Cylindrical Convolutional Networks for Joint Object Detection and Viewpoint Estimation [76.21696417873311]
  3次元空間で定義された畳み込みカーネルの円筒形表現を利用する学習可能なモジュールである円筒型畳み込みネットワーク(CCN)を導入する。 CCNはビュー固有の畳み込みカーネルを通してビュー固有の特徴を抽出し、各視点におけるオブジェクトカテゴリスコアを予測する。 本実験は,円柱状畳み込みネットワークが関節物体の検出と視点推定に与える影響を実証する。
  論文  参考訳（メタデータ） (2020-03-25T10:24:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。