論文の概要: DeFormer: Integrating Transformers with Deformable Models for 3D Shape Abstraction from a Single Image

• arxiv url: http://arxiv.org/abs/2309.12594v2
• Date: Tue, 3 Oct 2023 21:31:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 20:45:32.018773
• Title: DeFormer: Integrating Transformers with Deformable Models for 3D Shape Abstraction from a Single Image
• Title（参考訳）: DeFormer: 単一画像からの3次元形状抽象化のための変形可能なモデルと変換器の統合
• Authors: Di Liu, Xiang Yu, Meng Ye, Qilong Zhangli, Zhuowei Li, Zhixing Zhang, Dimitris N. Metaxas
• Abstract要約: 本稿では,パラメータ化デフォルマブルモデルと統合された新しいバイチャネルトランスフォーマアーキテクチャを提案し,プリミティブのグローバルおよび局所的な変形を同時に推定する。 DeFormerは、最先端技術よりもより良い再構築精度を実現し、一貫したセマンティック対応で可視化し、解釈性を向上させる。
• 参考スコア（独自算出の注目度）: 31.154786931081087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate 3D shape abstraction from a single 2D image is a long-standing problem in computer vision and graphics. By leveraging a set of primitives to represent the target shape, recent methods have achieved promising results. However, these methods either use a relatively large number of primitives or lack geometric flexibility due to the limited expressibility of the primitives. In this paper, we propose a novel bi-channel Transformer architecture, integrated with parameterized deformable models, termed DeFormer, to simultaneously estimate the global and local deformations of primitives. In this way, DeFormer can abstract complex object shapes while using a small number of primitives which offer a broader geometry coverage and finer details. Then, we introduce a force-driven dynamic fitting and a cycle-consistent re-projection loss to optimize the primitive parameters. Extensive experiments on ShapeNet across various settings show that DeFormer achieves better reconstruction accuracy over the state-of-the-art, and visualizes with consistent semantic correspondences for improved interpretability.
• Abstract（参考訳）: 単一の2d画像からの正確な3d形状の抽象化は、コンピュータビジョンとグラフィックスの長年の問題である。 対象形状を表すためにプリミティブのセットを活用することで、最近の手法は有望な結果を得た。 しかし、これらの手法は比較的多くのプリミティブを使用するか、プリミティブの表現可能性に制限があるため幾何学的柔軟性を欠いている。 本稿では,プリミティブの大域的および局所的な変形を同時に推定するために,パラメータ化された変形可能なモデルと統合した新しいバイチャネルトランスフォーマアーキテクチャを提案する。 このようにして、deformerは、より広い幾何学的範囲とより詳細な詳細を提供する少数のプリミティブを使いながら、複雑なオブジェクトの形状を抽象化することができる。 次に,プリミティブパラメータを最適化するために,力駆動型動的フィッティングとサイクル一貫性のある再射影損失を導入する。 様々な設定にわたるShapeNetに関する大規模な実験により、DeFormerは最先端の再現精度を向上し、一貫したセマンティック対応で可視化し、解釈可能性を向上させる。

関連論文リスト

• DPF-Net: Combining Explicit Shape Priors in Deformable Primitive Field for Unsupervised Structural Reconstruction of 3D Objects [12.713770164154461]
  本稿では,新しい変形可能なプリミティブフィールド表現に基づく非教師なし構造再構成手法DPF-Netを提案する。 パラメータ化幾何プリミティブで事前に符号化された強い形状により、DPF-Netは高次構造を抽出し、きめ細かい形状の細部を連続的に復元することができる。
  論文  参考訳（メタデータ） (2023-08-25T07:50:59Z)
• DTF-Net: Category-Level Pose Estimation and Shape Reconstruction via Deformable Template Field [29.42222066097076]
  RGB-Depth画像ペアから、オープンワールドシーンの6Dポーズの推定と3D形状の再構築は困難である。 本稿では,オブジェクトカテゴリの暗黙的ニューラルネットワークに基づくポーズ推定と形状再構成のための新しいフレームワークであるDTF-Netを提案する。
  論文  参考訳（メタデータ） (2023-08-04T10:35:40Z)
• Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
  カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。 我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。 我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:42:31Z)
• 3DIAS: 3D Shape Reconstruction with Implicit Algebraic Surfaces [45.18497913809082]
  原始的ベース表現は、主に単純な暗黙的プリミティブの集合によって3次元形状を近似する。 学習可能な係数がほとんどなく、より高度な幾何学的複素量を持つ原始曲面として、制約付き暗黙的代数曲面を提案する。 本手法は,教師なしの方法で3次元形状のセグメントを意味的に学習することができる。
  論文  参考訳（メタデータ） (2021-08-19T12:34:28Z)
• Neural Parts: Learning Expressive 3D Shape Abstractions with Invertible Neural Networks [118.20778308823779]
  Invertible Neural Network (INN) を用いてプリミティブを定義する新しい3次元プリミティブ表現を提案する。 私たちのモデルは、部品レベルの監督なしに3Dオブジェクトを意味的に一貫した部品配置に解析することを学びます。
  論文  参考訳（メタデータ） (2021-03-18T17:59:31Z)
• From Points to Multi-Object 3D Reconstruction [71.17445805257196]
  単一のRGB画像から複数の3Dオブジェクトを検出し再構成する方法を提案する。 キーポイント検出器は、オブジェクトを中心点としてローカライズし、9-DoF境界ボックスや3D形状を含む全てのオブジェクト特性を直接予測する。 提示されたアプローチは、軽量な再構築を単一ステージで実行し、リアルタイム能力を持ち、完全に微分可能で、エンドツーエンドのトレーナーブルである。
  論文  参考訳（メタデータ） (2020-12-21T18:52:21Z)
• Dense Non-Rigid Structure from Motion: A Manifold Viewpoint [162.88686222340962]
  Non-Rigid Structure-from-Motion (NRSfM) 問題は、複数のフレームにまたがる2次元特徴対応から変形物体の3次元形状を復元することを目的としている。 提案手法は,ノイズに対する精度,スケーラビリティ,堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-06-15T09:15:54Z)
• Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering [53.16864661460889]
  近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。 本稿では,ボディセグメンテーションを重要な監視対象として紹介する。 部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
  論文  参考訳（メタデータ） (2020-03-24T14:25:46Z)
• Convolutional Occupancy Networks [88.48287716452002]
  本稿では,オブジェクトと3Dシーンの詳細な再構築のための,より柔軟な暗黙的表現である畳み込み機能ネットワークを提案する。 畳み込みエンコーダと暗黙の占有デコーダを組み合わせることで、帰納的バイアスが組み込まれ、3次元空間における構造的推論が可能となる。 実験により,本手法は単一物体の微細な3次元再構成,大規模屋内シーンへのスケール,合成データから実データへの一般化を可能にした。
  論文  参考訳（メタデータ） (2020-03-10T10:17:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。