論文の概要: MeTTA: Single-View to 3D Textured Mesh Reconstruction with Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2408.11465v1
• Date: Wed, 21 Aug 2024 09:35:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 17:39:23.950172
• Title: MeTTA: Single-View to 3D Textured Mesh Reconstruction with Test-Time Adaptation
• Title（参考訳）: MeTTA: テスト時間適応による3次元テクスチャメッシュ再構成
• Authors: Kim Yu-Ji, Hyunwoo Ha, Kim Youwang, Jaeheung Surh, Hyowon Ha, Tae-Hyun Oh,
• Abstract要約: 本稿では, 生成前のテスト時間適応であるMeTTAを提案する。 3次元形状,外観,ポーズの連成最適化を設計し,OoDのケースを単一のビューイメージで処理する。 MeTTAは、既存の学習ベースの3D再構成モデルの障害ケースにおけるOoDシナリオを効果的に扱う。
• 参考スコア（独自算出の注目度）: 19.15982759396811
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing 3D from a single view image is a long-standing challenge. One of the popular approaches to tackle this problem is learning-based methods, but dealing with the test cases unfamiliar with training data (Out-of-distribution; OoD) introduces an additional challenge. To adapt for unseen samples in test time, we propose MeTTA, a test-time adaptation (TTA) exploiting generative prior. We design joint optimization of 3D geometry, appearance, and pose to handle OoD cases with only a single view image. However, the alignment between the reference image and the 3D shape via the estimated viewpoint could be erroneous, which leads to ambiguity. To address this ambiguity, we carefully design learnable virtual cameras and their self-calibration. In our experiments, we demonstrate that MeTTA effectively deals with OoD scenarios at failure cases of existing learning-based 3D reconstruction models and enables obtaining a realistic appearance with physically based rendering (PBR) textures.
• Abstract（参考訳）: 単一のビューイメージから3Dを再構築することは、長年の課題である。 この問題に対処するための一般的なアプローチの1つは、学習ベースの手法であるが、トレーニングデータ(アウト・オブ・ディストリビューション、OoD)に精通していないテストケースを扱うことは、さらなる課題をもたらす。 テスト時間における見知らぬサンプルに適応するため, 生成前を生かしたテスト時間適応(TTA)であるMeTTAを提案する。 3次元形状,外観,ポーズの連成最適化を設計し,OoDのケースを単一のビューイメージで処理する。 しかし、基準画像と推定視点による3次元形状のアライメントは誤っており、曖昧さにつながる可能性がある。 この曖昧さに対処するために、学習可能な仮想カメラとその自己校正を慎重に設計する。 実験では,既存の学習ベース3D再構成モデルの故障時のOoDシナリオを効果的に処理し,物理ベースレンダリング(PBR)テクスチャによるリアルな外観が得られることを示した。

関連論文リスト

• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• 3D Magic Mirror: Clothing Reconstruction from a Single Image via a Causal Perspective [96.65476492200648]
  本研究は, 自己監督型3D衣料の再構築手法について検討することを目的とする。 1枚の2D画像から人間の衣服の形状やテクスチャを復元する。
  論文  参考訳（メタデータ） (2022-04-27T17:46:55Z)
• Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
  カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。 我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。 我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:42:31Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• Using Adaptive Gradient for Texture Learning in Single-View 3D Reconstruction [0.0]
  3次元モデル再構築のための学習ベースのアプローチは、現代の応用によって注目を集めている。 本稿では,サンプリング画像のばらつきに基づいて予測座標の勾配を最適化し,新しいサンプリングアルゴリズムを提案する。 また,frechetインセプション距離(fid)を用いて学習における損失関数を形成し,レンダリング画像と入力画像とのギャップを橋渡しする。
  論文  参考訳（メタデータ） (2021-04-29T07:52:54Z)
• MonoRUn: Monocular 3D Object Detection by Reconstruction and Uncertainty Propagation [4.202461384355329]
  我々は,高密度な対応や幾何学を自己教師型で学習する,新しい3次元オブジェクト検出フレームワークMonoRUnを提案する。 提案手法は,KITTIベンチマークの最先端手法より優れている。
  論文  参考訳（メタデータ） (2021-03-23T15:03:08Z)
• Self-Supervised Monocular 3D Face Reconstruction by Occlusion-Aware Multi-view Geometry Consistency [40.56510679634943]
  マルチビュー幾何整合性を利用した自己教師付きトレーニングアーキテクチャを提案する。 画素の整合性損失,奥行きの整合性損失,顔のランドマークに基づくエピポーラロスを含む,多視点整合性のための3つの新しい損失関数を設計する。 提案手法は精度が高く,特に多彩な表現,ポーズ,照明条件下では堅牢である。
  論文  参考訳（メタデータ） (2020-07-24T12:36:09Z)
• From Image Collections to Point Clouds with Self-supervised Shape and Pose Networks [53.71440550507745]
  2次元画像から3Dモデルを再構成することは、コンピュータビジョンの基本的な問題の一つである。 本研究では,1枚の画像から3次元オブジェクトを再構成する深層学習手法を提案する。 我々は,3次元点雲の再構成と推定ネットワークの自己教師方式の両方を学習する。
  論文  参考訳（メタデータ） (2020-05-05T04:25:16Z)
• Learning Pose-invariant 3D Object Reconstruction from Single-view Images [61.98279201609436]
  本稿では,単視点画像のみから3次元形状を学習する,より現実的な構成について検討する。 最大の難しさは、単一のビューイメージが提供できる制約の不足にある。 本稿では, 対角コンパクトな形状空間を学習するために, 効果的な対角領域混同法を提案する。
  論文  参考訳（メタデータ） (2020-04-03T02:47:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。