論文の概要: Neural Textured Deformable Meshes for Robust Analysis-by-Synthesis

• arxiv url: http://arxiv.org/abs/2306.00118v1
• Date: Wed, 31 May 2023 18:45:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 20:00:25.596523
• Title: Neural Textured Deformable Meshes for Robust Analysis-by-Synthesis
• Title（参考訳）: ロバストな解析合成のためのニューラルテクスチャー付き変形性メッシュ
• Authors: Angtian Wang, Wufei Ma, Alan Yuille, Adam Kortylewski
• Abstract要約: 本稿では, 近似解析を用いた三重視覚タスクを一貫した方法で定式化する。 実世界の画像で評価すると、従来のニューラルネットワークよりも、我々の分析バイシンセシスの方がはるかに堅牢であることが示される。
• 参考スコア（独自算出の注目度）: 17.920305227880245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human vision demonstrates higher robustness than current AI algorithms under out-of-distribution scenarios. It has been conjectured such robustness benefits from performing analysis-by-synthesis. Our paper formulates triple vision tasks in a consistent manner using approximate analysis-by-synthesis by render-and-compare algorithms on neural features. In this work, we introduce Neural Textured Deformable Meshes, which involve the object model with deformable geometry that allows optimization on both camera parameters and object geometries. The deformable mesh is parameterized as a neural field, and covered by whole-surface neural texture maps, which are trained to have spatial discriminability. During inference, we extract the feature map of the test image and subsequently optimize the 3D pose and shape parameters of our model using differentiable rendering to best reconstruct the target feature map. We show that our analysis-by-synthesis is much more robust than conventional neural networks when evaluated on real-world images and even in challenging out-of-distribution scenarios, such as occlusion and domain shift. Our algorithms are competitive with standard algorithms when tested on conventional performance measures.
• Abstract（参考訳）: 人間のビジョンは、分散シナリオ下で現在のaiアルゴリズムよりも高い堅牢性を示している。 このようなロバスト性は、合成分析を行うことで得られると推測されている。 本稿では,神経特徴のレンダリング・アンド・コンプリートアルゴリズムによる近似解析を駆使して,3重視覚タスクを一貫した方法で定式化する。 本稿では,カメラパラメータとオブジェクトジオメトリの両方を最適化する,変形可能な形状を持つオブジェクトモデルを含むニューラルテクスチャ・デフォルマブル・メッシュを提案する。 変形可能なメッシュは、ニューラルネットワークとしてパラメータ化され、空間的識別性を持つように訓練された、全表面のニューラルネットワークテクスチャマップで覆われる。 推論中、テスト画像の特徴マップを抽出し、それから微分レンダリングを用いてモデルの3次元ポーズと形状パラメータを最適化し、ターゲットの特徴マップを最適に再構築する。 実世界画像上で評価した場合や, 咬合や領域シフトといった分散的課題においても, 従来型ニューラルネットワークよりもはるかに頑健であることを示す。 我々のアルゴリズムは、従来の性能指標でテストした場合、標準アルゴリズムと競合する。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Parameterization-driven Neural Surface Reconstruction for Object-oriented Editing in Neural Rendering [35.69582529609475]
  本稿では,ニューラル暗黙表面を球面やポリキューブのような単純なパラメトリック領域にパラメータ化するための新しいニューラルアルゴリズムを提案する。 オブジェクトのゼロレベルセットからの前方マッピングと後方マッピングのための逆変形を用いて、オブジェクトとドメイン間の双方向の変形を計算する。 本手法の有効性を人間の頭部と人工物の画像に示す。
  論文  参考訳（メタデータ） (2023-10-09T08:42:40Z)
• NIKI: Neural Inverse Kinematics with Invertible Neural Networks for 3D Human Pose and Shape Estimation [53.25973084799954]
  両方向誤差をモデル化したNIKI(Neural Inverse Kinematics with Invertible Neural Network)を提案する。 NIKIは、非可逆ネットワークによる前処理と逆処理の両方から学習することができる。
  論文  参考訳（メタデータ） (2023-05-15T12:13:24Z)
• Multi-View Mesh Reconstruction with Neural Deferred Shading [0.8514420632209809]
  最先端の手法では、ニューラルサーフェス表現とニューラルシェーディングの両方を用いる。 曲面を三角形メッシュとして表現し、三角形の描画とニューラルシェーディングを中心に、微分可能なレンダリングパイプラインを構築します。 パブリックな3次元再構成データセットを用いてランタイムの評価を行い、最適化において従来のベースラインの復元精度を上回りながら、従来のベースラインの再構築精度に適合できることを示す。
  論文  参考訳（メタデータ） (2022-12-08T16:29:46Z)
• DeepDC: Deep Distance Correlation as a Perceptual Image Quality Evaluator [53.57431705309919]
  ImageNet Pre-trained Deep Neural Network (DNN)は、効果的な画像品質評価(IQA)モデルを構築するための顕著な転送性を示す。 我々は,事前学習DNN機能のみに基づく新しいフル参照IQA(FR-IQA)モデルを開発した。 5つの標準IQAデータセット上で,提案した品質モデルの優位性を示すため,包括的実験を行った。
  論文  参考訳（メタデータ） (2022-11-09T14:57:27Z)
• Neural Knitworks: Patched Neural Implicit Representation Networks [1.0470286407954037]
  画像合成を実現する自然画像の暗黙的表現学習のためのアーキテクチャであるKnitworkを提案する。 私たちの知る限りでは、画像のインペインティング、超解像化、デノイングといった合成作業に適した座標ベースのパッチの実装は、これが初めてである。 その結果, ピクセルではなくパッチを用いた自然な画像のモデリングにより, 忠実度が高い結果が得られた。
  論文  参考訳（メタデータ） (2021-09-29T13:10:46Z)
• Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
  本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。 提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
  論文  参考訳（メタデータ） (2021-08-30T19:45:07Z)
• Iso-Points: Optimizing Neural Implicit Surfaces with Hybrid Representations [21.64457003420851]
  我々は,幾何認識によるサンプリングと正規化を課すことができるハイブリッドニューラルサーフェス表現を開発した。 本手法は、多視点画像や点群から神経暗黙面を再構築する技術を改善するために適用できることを実証する。
  論文  参考訳（メタデータ） (2020-12-11T15:51:04Z)
• Category Level Object Pose Estimation via Neural Analysis-by-Synthesis [64.14028598360741]
  本稿では、勾配に基づくフィッティング法とパラメトリックニューラルネットワーク合成モジュールを組み合わせる。 画像合成ネットワークは、ポーズ設定空間を効率的に分散するように設計されている。 本研究では,2次元画像のみから高精度に物体の向きを復元できることを実験的に示す。
  論文  参考訳（メタデータ） (2020-08-18T20:30:47Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。