論文の概要: NOVUM: Neural Object Volumes for Robust Object Classification
- arxiv url: http://arxiv.org/abs/2305.14668v4
- Date: Wed, 28 Aug 2024 07:28:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-29 21:40:54.911087
- Title: NOVUM: Neural Object Volumes for Robust Object Classification
- Title（参考訳）: NOVUM:ロバストオブジェクト分類のためのニューラルオブジェクトボリューム
- Authors: Artur Jesslen, Guofeng Zhang, Angtian Wang, Wufei Ma, Alan Yuille, Adam Kortylewski,
- Abstract要約: 画像分類のためのディープネットワークに3D合成対象表現を明示的に組み込むことにより,配布外シナリオの一般化が大幅に向上することを示す。
特に,対象対象クラス毎に特徴抽出器とニューラルオブジェクト容積からなる,NOVUMと呼ばれる新しいアーキテクチャを導入する。
実験の結果,NOVUMはオブジェクト表現の3次元構成構造のため,標準アーキテクチャよりも興味深い利点があることがわかった。
- 参考スコア（独自算出の注目度）: 22.411611823528272
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Discriminative models for object classification typically learn image-based representations that do not capture the compositional and 3D nature of objects. In this work, we show that explicitly integrating 3D compositional object representations into deep networks for image classification leads to a largely enhanced generalization in out-of-distribution scenarios. In particular, we introduce a novel architecture, referred to as NOVUM, that consists of a feature extractor and a neural object volume for every target object class. Each neural object volume is a composition of 3D Gaussians that emit feature vectors. This compositional object representation allows for a highly robust and fast estimation of the object class by independently matching the features of the 3D Gaussians of each category to features extracted from an input image. Additionally, the object pose can be estimated via inverse rendering of the corresponding neural object volume. To enable the classification of objects, the neural features at each 3D Gaussian are trained discriminatively to be distinct from (i) the features of 3D Gaussians in other categories, (ii) features of other 3D Gaussians of the same object, and (iii) the background features. Our experiments show that NOVUM offers intriguing advantages over standard architectures due to the 3D compositional structure of the object representation, namely: (1) An exceptional robustness across a spectrum of real-world and synthetic out-of-distribution shifts and (2) an enhanced human interpretability compared to standard models, all while maintaining real-time inference and a competitive accuracy on in-distribution data.
- Abstract（参考訳）: オブジェクト分類の識別モデルは、通常、オブジェクトの合成と3Dの性質を捉えない画像に基づく表現を学習する。
本研究では,3次元合成対象表現を画像分類のためのディープネットワークに明示的に統合することにより,配布外シナリオの大幅な一般化が実現することを示す。
特に,対象対象クラス毎に特徴抽出器とニューラルオブジェクト容積からなる,NOVUMと呼ばれる新しいアーキテクチャを導入する。
それぞれの神経物体の体積は、特徴ベクトルを出力する3Dガウスの合成である。
この構成オブジェクト表現は、各カテゴリの3次元ガウス的特徴と入力画像から抽出された特徴とを独立にマッチングすることにより、オブジェクトクラスの非常に堅牢で高速な推定を可能にする。
さらに、対応するニューラルオブジェクトボリュームの逆レンダリングにより、オブジェクトのポーズを推定することができる。
物体の分類を可能にするために、各3次元ガウスの神経特徴を識別的に訓練して区別する。
(i)他のカテゴリーにおける3次元ガウシアンの特徴
(二)同じ対象の他の3次元ガウス的特徴及び
(三)背景特徴
実験の結果、NOVUMは、オブジェクト表現の3次元構成構造、すなわち、実世界と合成外分布シフトのスペクトルにわたる例外的ロバスト性、および、標準モデルと比較して人間による解釈可能性の向上などにより、標準アーキテクチャよりも興味深い利点を提供する。
関連論文リスト
- GaussianFormer: Scene as Gaussians for Vision-Based 3D Semantic Occupancy Prediction [70.65250036489128]
3Dのセマンティック占有予測は,周囲のシーンの3Dの微細な形状とセマンティックスを得ることを目的としている。
本稿では,3Dシーンを3Dセマンティック・ガウシアンで表現するオブジェクト中心表現を提案する。
GaussianFormerは17.8%から24.8%のメモリ消費しか持たない最先端のメソッドで同等のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-05-27T17:59:51Z) - OV9D: Open-Vocabulary Category-Level 9D Object Pose and Size Estimation [56.028185293563325]
本稿では,新しい開集合問題,開語彙圏レベルのオブジェクトポーズとサイズ推定について検討する。
まずOO3D-9Dという大規模フォトリアリスティックなデータセットを紹介した。
次に、事前学習したDinoV2とテキストから画像への安定拡散モデルに基づくフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-19T03:09:24Z) - NAP: Neural 3D Articulation Prior [31.875925637190328]
本研究では,3次元合成対象モデルを合成する最初の3次元深部生成モデルであるNeural 3D Articulation Prior (NAP)を提案する。
そこで我々はまず,新しい調音木/グラフパラメタライゼーションを設計し,この表現に対して拡散減衰確率モデルを適用した。
分布が互いに影響を及ぼすような幾何構造と運動構造の両方を捉えるために,逆拡散過程を学習するためのグラフアテンション認知ネットワークを設計する。
論文 参考訳（メタデータ） (2023-05-25T17:59:35Z) - Occupancy Planes for Single-view RGB-D Human Reconstruction [120.5818162569105]
暗黙的な機能を持つシングルビューRGB-Dヒト再構成は、しばしばポイント単位の分類として定式化される。
本稿では,カメラの視野フラストラムをスライスする平面上での占有率予測として,一視点のRGB-D人間の再構成を定式化できる占有面(OPlanes)表現を提案する。
論文 参考訳（メタデータ） (2022-08-04T17:59:56Z) - Category-Agnostic 6D Pose Estimation with Conditional Neural Processes [19.387280883044482]
未知物体の6次元ポーズ推定のためのメタラーニング手法を提案する。
本アルゴリズムは,オブジェクトの表現をカテゴリに依存しない方法で学習し,オブジェクトカテゴリをまたいだ強力な一般化機能を実現する。
論文 参考訳（メタデータ） (2022-06-14T20:46:09Z) - Neural View Synthesis and Matching for Semi-Supervised Few-Shot Learning
of 3D Pose [10.028521796737314]
本稿では,ラベル付きサンプルと非ラベル付きデータの集合から3次元オブジェクトのポーズを推定する学習の課題について検討する。
我々の主な貢献は学習フレームワークであるニューラルビュー合成とマッチングであり、3Dポーズアノテーションをラベル付けされたラベル付き画像から、確実に非ラベル付き画像に転送することができる。
論文 参考訳（メタデータ） (2021-10-27T06:53:53Z) - DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to
the Third Dimension [71.71234436165255]
DensePose 3Dは2次元画像アノテーションのみから弱い教師付きで再構築を学習できる手法である。
3Dスキャンを必要としないため、DensePose 3Dは異なる動物種などの幅広いカテゴリーの学習に利用できる。
我々は,人間と動物のカテゴリーの合成データと実データの両方をベースラインとして,最先端の非剛体構造と比較し,顕著な改善を示した。
論文 参考訳（メタデータ） (2021-08-31T18:33:55Z) - HVPR: Hybrid Voxel-Point Representation for Single-stage 3D Object
Detection [39.64891219500416]
3Dオブジェクト検出手法は、シーン内の3Dオブジェクトを表現するために、ボクセルベースまたはポイントベースの特徴を利用する。
本稿では,voxelベースとポイントベースの両方の特徴を有する,新しい単段3次元検出手法を提案する。
論文 参考訳（メタデータ） (2021-04-02T06:34:49Z) - Unsupervised Learning of 3D Object Categories from Videos in the Wild [75.09720013151247]
オブジェクトインスタンスの大規模なコレクションの複数のビューからモデルを学ぶことに重点を置いています。
再構成を大幅に改善するワープコンディショニングレイ埋め込み(WCR)と呼ばれる新しいニューラルネットワーク設計を提案する。
本評価は,既存のベンチマークを用いた複数の深部単眼再構成ベースラインに対する性能改善を示す。
論文 参考訳（メタデータ） (2021-03-30T17:57:01Z) - Canonical 3D Deformer Maps: Unifying parametric and non-parametric
methods for dense weakly-supervised category reconstruction [79.98689027127855]
独立オブジェクトの2次元画像の集合から学習できる共通オブジェクトカテゴリの3次元形状の表現を提案する。
提案手法は, パラメトリック変形モデル, 非パラメトリック3次元再構成, 標準埋め込みの概念に基づく新しい手法で構築する。
顔、車、鳥の野生のデータセットを3Dで再現することで、最先端の成果が得られます。
論文 参考訳（メタデータ） (2020-08-28T15:44:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。