論文の概要: Robust 3D-aware Object Classification via Discriminative
Render-and-Compare
- arxiv url: http://arxiv.org/abs/2305.14668v2
- Date: Mon, 5 Jun 2023 17:39:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 01:01:06.900389
- Title: Robust 3D-aware Object Classification via Discriminative
Render-and-Compare
- Title(参考訳): 識別的Render-and-Compareによるロバスト3次元物体分類
- Authors: Artur Jesslen, Guofeng Zhang, Angtian Wang, Alan Yuille, Adam
Kortylewski
- Abstract要約: 本稿では,最近の研究を基盤として,単一タスクモデルに比較可能な3次元認識型分類アーキテクチャを提案する。
提案手法とフィードフォワードニューラルネットワークを組み合わせることで,レンダリング・アンド・コンパレートアプローチを大規模カテゴリに拡張する方法について述べる。
- 参考スコア(独自算出の注目度): 18.355998449169576
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In real-world applications, it is essential to jointly estimate the 3D object
pose and class label of objects, i.e., to perform 3D-aware classification.While
current approaches for either image classification or pose estimation can be
extended to 3D-aware classification, we observe that they are inherently
limited: 1) Their performance is much lower compared to the respective
single-task models, and 2) they are not robust in out-of-distribution (OOD)
scenarios. Our main contribution is a novel architecture for 3D-aware
classification, which builds upon a recent work and performs comparably to
single-task models while being highly robust. In our method, an object category
is represented as a 3D cuboid mesh composed of feature vectors at each mesh
vertex. Using differentiable rendering, we estimate the 3D object pose by
minimizing the reconstruction error between the mesh and the feature
representation of the target image. Object classification is then performed by
comparing the reconstruction losses across object categories. Notably, the
neural texture of the mesh is trained in a discriminative manner to enhance the
classification performance while also avoiding local optima in the
reconstruction loss. Furthermore, we show how our method and feed-forward
neural networks can be combined to scale the render-and-compare approach to
larger numbers of categories. Our experiments on PASCAL3D+, occluded-PASCAL3D+,
and OOD-CV show that our method outperforms all baselines at 3D-aware
classification by a wide margin in terms of performance and robustness.
- Abstract(参考訳): 実世界のアプリケーションでは、3dオブジェクトのポーズとクラスラベル、すなわち3dアウェア分類を行うのが不可欠であるが、現在の画像分類やポーズ推定のアプローチは3dアウェア分類に拡張できるが、それらは本質的に限定されている。
1)それぞれのシングルタスクモデルに比べて性能がはるかに低い。
2) アウト・オブ・ディストリビューション(OOD)のシナリオでは堅牢ではない。
私たちの主な貢献は、3D対応分類のための新しいアーキテクチャであり、これは最近の研究に基づいており、非常に堅牢でありながらシングルタスクモデルと互換性のある性能を実現しています。
本手法では,オブジェクトカテゴリを,各メッシュ頂点の特徴ベクトルからなる3次元立方体メッシュとして表現する。
本研究では,メッシュ間の再構成誤差と対象画像の特徴表現を最小化することにより,3次元オブジェクトのポーズを推定する。
オブジェクト分類は、オブジェクトカテゴリ間の再構成損失を比較することによって行われる。
特に、メッシュの神経テクスチャを識別的に訓練して分類性能を高めるとともに、復元損失の局所的最適性を回避する。
さらに,本手法とフィードフォワードニューラルネットワークを組み合わせることで,より多数のカテゴリにレンダリング・アンド・コンプリートアプローチをスケールできることを示す。
PASCAL3D+,occluded-PASCAL3D+,およびOOD-CVを用いた実験により,本手法は3D-Aware分類において,性能とロバスト性の観点から広いマージンで,すべてのベースラインを上回ることを示した。
関連論文リスト
- 3D Open-Vocabulary Panoptic Segmentation with 2D-3D Vision-Language
Distillation [41.581211059105755]
本稿では,3次元オープンボキャブラリパノプタセグメンテーションのための最初の手法を提案する。
我々のモデルは、学習可能なLiDAR機能と密集した凍結視覚CLIP機能との融合を利用する。
本稿では,オブジェクトレベルの蒸留損失とボクセルレベルの蒸留損失の2つの新しい損失関数を提案する。
論文 参考訳(メタデータ) (2024-01-04T18:39:32Z) - Uncertainty-aware 3D Object-Level Mapping with Deep Shape Priors [15.34487368683311]
未知のオブジェクトに対して高品質なオブジェクトレベルマップを再構築するフレームワークを提案する。
提案手法では,複数のRGB-D画像を入力として,高密度な3次元形状と検出対象に対する9-DoFポーズを出力する。
2つの新たな損失関数を通して形状を伝播し不確実性を生じさせる確率的定式化を導出する。
論文 参考訳(メタデータ) (2023-09-17T00:48:19Z) - InOR-Net: Incremental 3D Object Recognition Network for Point Cloud
Representation [51.121731449575776]
我々は,新しい3Dオブジェクトのクラスを連続的に認識するインクリメンタル3Dオブジェクト認識ネットワーク(InOR-Net)を開発した。
具体的には、各クラスの特徴的な3次元特性を持つ局所幾何学的構造を推論するために、カテゴリー誘導幾何学的推論を提案する。
そこで我々は,従来の3Dオブジェクトのクラスにおける破滅的な忘れを克服するために,各クラス内のどの3次元幾何学的特徴が有用であるかを識別する,新しい批評家による幾何学的注意機構を提案する。
論文 参考訳(メタデータ) (2023-02-20T10:30:16Z) - DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to
the Third Dimension [71.71234436165255]
DensePose 3Dは2次元画像アノテーションのみから弱い教師付きで再構築を学習できる手法である。
3Dスキャンを必要としないため、DensePose 3Dは異なる動物種などの幅広いカテゴリーの学習に利用できる。
我々は,人間と動物のカテゴリーの合成データと実データの両方をベースラインとして,最先端の非剛体構造と比較し,顕著な改善を示した。
論文 参考訳(メタデータ) (2021-08-31T18:33:55Z) - Shape from Blur: Recovering Textured 3D Shape and Motion of Fast Moving
Objects [115.71874459429381]
本研究では, 物体の3次元形状, テクスチャ, 動きを単一動画像から共同で再構成する新しい課題について述べる。
従来の手法では2次元画像領域でのみ遅延問題に対処するが、3次元領域における全ての物体特性の厳密なモデリングは任意の物体の動きの正確な記述を可能にする。
論文 参考訳(メタデータ) (2021-06-16T13:18:08Z) - Learning Compositional Shape Priors for Few-Shot 3D Reconstruction [36.40776735291117]
複雑なエンコーダ・デコーダアーキテクチャが,カテゴリごとの大量のデータを利用することを示す。
データから直接クラス固有のグローバルな形状を学習する3つの方法を提案する。
人気のShapeNetデータセットの実験から,本手法はゼロショットベースラインを40%以上上回る性能を示した。
論文 参考訳(メタデータ) (2021-06-11T14:55:49Z) - Unsupervised Learning of 3D Object Categories from Videos in the Wild [75.09720013151247]
オブジェクトインスタンスの大規模なコレクションの複数のビューからモデルを学ぶことに重点を置いています。
再構成を大幅に改善するワープコンディショニングレイ埋め込み(WCR)と呼ばれる新しいニューラルネットワーク設計を提案する。
本評価は,既存のベンチマークを用いた複数の深部単眼再構成ベースラインに対する性能改善を示す。
論文 参考訳(メタデータ) (2021-03-30T17:57:01Z) - A Convolutional Architecture for 3D Model Embedding [1.3858051019755282]
入力として3Dモデルを扱うディープラーニングアーキテクチャを提案する。
埋め込み表現は3Dオブジェクトの類似性評価を扱うのに役立つセマンティック情報を伝えることを示した。
論文 参考訳(メタデータ) (2021-03-05T15:46:47Z) - An Effective Loss Function for Generating 3D Models from Single 2D Image
without Rendering [0.0]
微分レンダリングは、シングルビュー3Dレコンストラクションに適用できる非常に成功した技術である。
電流は、ある3d再構成対象のレンダリング画像と、与えられたマッチング視点からの接地画像との間のピクセルによる損失を利用して、3d形状のパラメータを最適化する。
再構成された3次元点群の投影が地上真理物体のシルエットをどの程度覆うかを評価する新しい効果的な損失関数を提案する。
論文 参考訳(メタデータ) (2021-03-05T00:02:18Z) - Canonical 3D Deformer Maps: Unifying parametric and non-parametric
methods for dense weakly-supervised category reconstruction [79.98689027127855]
独立オブジェクトの2次元画像の集合から学習できる共通オブジェクトカテゴリの3次元形状の表現を提案する。
提案手法は, パラメトリック変形モデル, 非パラメトリック3次元再構成, 標準埋め込みの概念に基づく新しい手法で構築する。
顔、車、鳥の野生のデータセットを3Dで再現することで、最先端の成果が得られます。
論文 参考訳(メタデータ) (2020-08-28T15:44:05Z) - Fine-Grained 3D Shape Classification with Hierarchical Part-View
Attentions [70.0171362989609]
本稿では,FG3D-Netと呼ばれる新しい3次元形状分類手法を提案する。
詳細な3次元形状データセットに基づく結果から,本手法が他の最先端手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2020-05-26T06:53:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。