論文の概要: VSFormer: Mining Correlations in Flexible View Set for Multi-view 3D Shape Understanding

• arxiv url: http://arxiv.org/abs/2409.09254v1
• Date: Sat, 14 Sep 2024 01:48:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 21:49:17.217509
• Title: VSFormer: Mining Correlations in Flexible View Set for Multi-view 3D Shape Understanding
• Title（参考訳）: VSFormer:マルチビュー3次元形状理解のためのフレキシブルビューセットのマイニング相関
• Authors: Hongyu Sun, Yongcai Wang, Peng Wang, Haoran Deng, Xudong Cai, Deying Li,
• Abstract要約: 本稿では,複数の視点に対するフレキシブルな組織と明示的な相関学習について検討する。 我々は,集合内のすべての要素の対関係と高次相関を明示的に捉えるために,emphVSFormerというニブルトランスフォーマーモデルを考案した。 ModelNet40、ScanObjectNN、RGBDなど、さまざまな3D認識データセットの最先端結果に到達している。
• 参考スコア（独自算出の注目度）: 9.048401253308123
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: View-based methods have demonstrated promising performance in 3D shape understanding. However, they tend to make strong assumptions about the relations between views or learn the multi-view correlations indirectly, which limits the flexibility of exploring inter-view correlations and the effectiveness of target tasks. To overcome the above problems, this paper investigates flexible organization and explicit correlation learning for multiple views. In particular, we propose to incorporate different views of a 3D shape into a permutation-invariant set, referred to as \emph{View Set}, which removes rigid relation assumptions and facilitates adequate information exchange and fusion among views. Based on that, we devise a nimble Transformer model, named \emph{VSFormer}, to explicitly capture pairwise and higher-order correlations of all elements in the set. Meanwhile, we theoretically reveal a natural correspondence between the Cartesian product of a view set and the correlation matrix in the attention mechanism, which supports our model design. Comprehensive experiments suggest that VSFormer has better flexibility, efficient inference efficiency and superior performance. Notably, VSFormer reaches state-of-the-art results on various 3d recognition datasets, including ModelNet40, ScanObjectNN and RGBD. It also establishes new records on the SHREC'17 retrieval benchmark. The code and datasets are available at \url{https://github.com/auniquesun/VSFormer}.
• Abstract（参考訳）: ビューベース手法は3次元形状理解において有望な性能を示した。 しかし、ビュー間の関係を強く仮定したり、間接的にマルチビュー相関を学習する傾向があるため、ビュー間の相関を探索する柔軟性や、ターゲットタスクの有効性が制限される。 以上の課題を克服するために,複数の視点に対するフレキシブルな組織と明示的な相関学習について検討する。 特に,3次元形状の異なるビューを,厳密な関係の仮定を排除し,ビュー間の適切な情報交換と融合を容易にする,置換不変集合である「emph{View Set}」に組み込むことを提案する。 そこで我々は,集合内のすべての要素のペアワイドおよび高次相関を明示的に捉えるために,ninmble Transformerモデルであるemph{VSFormer}を考案した。 一方,ビューセットのカルト積とアテンション機構の相関行列との自然な対応を理論的に明らかにし,モデル設計を支援する。 包括的な実験では、VSFormerの柔軟性、効率的な推論効率、パフォーマンスが向上している。 特に、VSFormerはModelNet40、ScanObjectNN、RGBDなど、さまざまな3D認識データセットの最先端結果に到達している。 また、SHREC'17検索ベンチマークで新しい記録を樹立した。 コードとデータセットは \url{https://github.com/auniquesun/VSFormer} で公開されている。

関連論文リスト

• SeCG: Semantic-Enhanced 3D Visual Grounding via Cross-modal Graph Attention [19.23636231942245]
  設計したメモリグラフアテンション層を用いたグラフネットワークに基づくセマンティック・エンハンスド・リレーショナル学習モデルを提案する。 本手法は,従来の言語に依存しないエンコーディングを,視覚解析におけるクロスモーダルエンコーディングに置き換える。 ReferIt3D と ScanRefer のベンチマーク実験の結果,提案手法は既存の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-13T02:11:04Z)
• M$^3$Net: Multi-view Encoding, Matching, and Fusion for Few-shot Fine-grained Action Recognition [80.21796574234287]
  M$3$Netは、FS-FGアクション認識のためのマッチングベースのフレームワークである。 textitmulti-view エンコーディング、textitmulti-view matching、textitmulti-view fusion を組み込んで、埋め込みエンコーディング、類似性マッチング、意思決定を容易にする。 説明可能な可視化と実験結果により,M$3$Netの微細な動作の詳細を捉える上での優位性が示された。
  論文  参考訳（メタデータ） (2023-08-06T09:15:14Z)
• Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
  マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。 MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
  論文  参考訳（メタデータ） (2023-07-19T02:11:19Z)
• Towards Unseen Triples: Effective Text-Image-joint Learning for Scene Graph Generation [30.79358827005448]
  SGG(Scene Graph Generation)は、画像内のオブジェクトとその接続を構造的かつ包括的に表現することを目的としている。 既存のSGGモデルは、バイアス付きデータセットによって引き起こされる長い尾の問題を解決するのに苦労することが多い。 テキスト画像結合Scene Graph Generation (TISGG) モデルを提案する。
  論文  参考訳（メタデータ） (2023-06-23T10:17:56Z)
• Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
  この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。 視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。 人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
  論文  参考訳（メタデータ） (2023-03-16T00:06:28Z)
• Auto-weighted Multi-view Feature Selection with Graph Optimization [90.26124046530319]
  グラフ学習に基づく新しい教師なしマルチビュー特徴選択モデルを提案する。 1) 特徴選択過程において, 異なる視点で共有されたコンセンサス類似度グラフが学習される。 各種データセットを用いた実験により,提案手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-11T03:25:25Z)
• Unified Graph Structured Models for Video Understanding [93.72081456202672]
  リレーショナル・テンポラル関係を明示的にモデル化するメッセージパッシンググラフニューラルネットワークを提案する。 本手法は,シーン内の関連エンティティ間の関係をより効果的にモデル化できることを示す。
  論文  参考訳（メタデータ） (2021-03-29T14:37:35Z)
• Disentangled Graph Collaborative Filtering [100.26835145396782]
  Disentangled Graph Collaborative Filtering (DGCF)は、インタラクションデータからユーザとアイテムの情報表現を学ぶための新しいモデルである。 ユーザ・イテムのインタラクション毎に意図を超越した分布をモデル化することにより、インテント・アウェアなインタラクショングラフと表現を反復的に洗練する。 DGCFはNGCF、DisenGCN、MacridVAEといった最先端モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2020-07-03T15:37:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。