論文の概要: DuMLP-Pin: A Dual-MLP-dot-product Permutation-invariant Network for Set Feature Extraction

• arxiv url: http://arxiv.org/abs/2203.04007v1
• Date: Tue, 8 Mar 2022 11:01:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-09 13:29:13.970208
• Title: DuMLP-Pin: A Dual-MLP-dot-product Permutation-invariant Network for Set Feature Extraction
• Title（参考訳）: DuMLP-Pin:設定特徴抽出のためのDual-MLP-dot-product Permutation-invariant Network
• Authors: Jiajun Fei, Ziyu Zhu, Wenlei Liu, Zhidong Deng, Mingyang Li, Huanjun Deng, Shuo Zhang
• Abstract要約: 我々はDuMLP-Pinと呼ばれる新しいグローバルアグリゲーション不変ネットワークを提案する。 DuMLP-Pinの精度は1-2%の差しか持たない超高速局所凝集法に非常に近い。
• 参考スコア（独自算出の注目度）: 15.378459426045701
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing permutation-invariant methods can be divided into two categories according to the aggregation scope, i.e. global aggregation and local one. Although the global aggregation methods, e. g., PointNet and Deep Sets, get involved in simpler structures, their performance is poorer than the local aggregation ones like PointNet++ and Point Transformer. It remains an open problem whether there exists a global aggregation method with a simple structure, competitive performance, and even much fewer parameters. In this paper, we propose a novel global aggregation permutation-invariant network based on dual MLP dot-product, called DuMLP-Pin, which is capable of being employed to extract features for set inputs, including unordered or unstructured pixel, attribute, and point cloud data sets. We strictly prove that any permutation-invariant function implemented by DuMLP-Pin can be decomposed into two or more permutation-equivariant ones in a dot-product way as the cardinality of the given input set is greater than a threshold. We also show that the DuMLP-Pin can be viewed as Deep Sets with strong constraints under certain conditions. The performance of DuMLP-Pin is evaluated on several different tasks with diverse data sets. The experimental results demonstrate that our DuMLP-Pin achieves the best results on the two classification problems for pixel sets and attribute sets. On both the point cloud classification and the part segmentation, the accuracy of DuMLP-Pin is very close to the so-far best-performing local aggregation method with only a 1-2% difference, while the number of required parameters is significantly reduced by more than 85% in classification and 69% in segmentation, respectively. The code is publicly available on https://github.com/JaronTHU/DuMLP-Pin.
• Abstract（参考訳）: 既存の置換不変法は、アグリゲーションスコープ、すなわちグローバルアグリゲーションと局所アグリゲーションの2つのカテゴリに分けられる。 しかし、グローバルアグリゲーションメソッドは、例えば、 g. PointNet++やPoint Transformerのようなローカルアグリゲーションよりもパフォーマンスが劣っている。 単純な構造、競合性能、さらにはパラメータの少ないグローバルアグリゲーション方法が存在するかどうかは、まだ未解決の問題である。 本稿では,DuMLP-Pinと呼ばれる2つのMLPドット積に基づく新しいグローバルアグリゲーション・不変ネットワークを提案する。 我々は、DuMLP-Pinによって実装された任意の置換不変関数が、与えられた入力集合の濃度がしきい値より大きいため、ドット積的な方法で2つ以上の置換不変関数に分解できることを厳密に証明する。 また、DuMLP-Pinは特定の条件下で強い制約を持つディープセットと見なせることを示す。 DuMLP-Pinの性能は多様なデータセットを持つ複数のタスクで評価される。 実験により,DuMLP-Pinは画素集合と属性集合の2つの分類問題において最良の結果が得られることが示された。 点群分類と部分分節化の両方において,dumlp-pinの精度は1～2%の差しか持たない極端に優れた局所集計法に非常に近いが,必要なパラメータの数が85%以上,セグメント化が69%減少した。 コードはhttps://github.com/JaronTHU/DuMLP-Pin.comで公開されている。

関連論文リスト

• Strip-MLP: Efficient Token Interaction for Vision MLP [31.02197585697145]
  textbfStrip-MLPを導入し,トークン間相互作用を3つの方法で強化する。 Strip-MLPは、小さなデータセット上での空間モデルの性能を大幅に改善する。 CIFAR-100ではCaltech-101では+2.44%、CIFAR-100では+2.16%である。
  論文  参考訳（メタデータ） (2023-07-21T09:40:42Z)
• Tuning Pre-trained Model via Moment Probing [62.445281364055795]
  本稿では,LP の可能性を探るため,新しい Moment Probing (MP) 法を提案する。 MPは、最終特徴の平均に基づいて線形分類ヘッドを実行する。 当社のMPはLPを著しく上回り、トレーニングコストの低い相手と競争しています。
  論文  参考訳（メタデータ） (2023-07-21T04:15:02Z)
• Efficient Language Modeling with Sparse all-MLP [53.81435968051093]
  すべてのMLPは、言語モデリングにおいてTransformerと一致するが、下流タスクではまだ遅れている。 特徴量と入力量の両方でMoE(Mix-of-Experts)を混合したスパースオールMLPを提案する。 6つの下流タスクにおいて、ゼロショットのインコンテキスト学習性能を評価し、トランスフォーマーベースのMoEや高密度トランスフォーマーを上回る結果を得た。
  論文  参考訳（メタデータ） (2022-03-14T04:32:19Z)
• RepMLPNet: Hierarchical Vision MLP with Re-parameterized Locality [113.1414517605892]
  そこで本研究では,FC層に局所前処理を組み込む手法であるLocality Injectionを提案する。 RepMLPNetはCityscapesセマンティックセグメンテーションにシームレスに移行した最初の企業である。
  論文  参考訳（メタデータ） (2021-12-21T10:28:17Z)
• ConvMLP: Hierarchical Convolutional MLPs for Vision [7.874749885641495]
  本稿では,視覚認識のための軽量でステージワイドな協調設計である階層型 ConMLP を提案する。 本研究では,ConvMLPをシームレスに転送し,少ないパラメータで競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-09T17:52:57Z)
• Hire-MLP: Vision MLP via Hierarchical Rearrangement [58.33383667626998]
  Hire-MLPは、再配置によるシンプルだが競合する視覚アーキテクチャである。 提案したHire-MLPアーキテクチャは、単純なチャネル混合操作で構築されており、高い柔軟性と推論速度を享受できる。 実験の結果,Herre-MLPはImageNet-1Kベンチマークで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2021-08-30T16:11:04Z)
• CycleMLP: A MLP-like Architecture for Dense Prediction [26.74203747156439]
  CycleMLPは視覚認識と密度予測のための汎用的なバックボーンである。 様々な画像サイズに対処でき、ローカルウィンドウを使用することで、画像サイズに対する線形計算の複雑さを実現する。 CycleMLPは、モデルに対するオブジェクト検出、インスタンスセグメンテーション、セマンティックセグメンテーションの競合するベースラインを提供することを目的としている。
  論文  参考訳（メタデータ） (2021-07-21T17:23:06Z)
• A^2-FPN: Attention Aggregation based Feature Pyramid Network for Instance Segmentation [68.10621089649486]
  アテンションアグリゲーションに基づく機能ピラミッドネットワーク(A2-FPN)を提案し、マルチスケール機能学習を改善します。 A2-FPNは、Cascade Mask R-CNNやHybrid Task Cascadeといった強力なベースラインに統合された場合、2.0%と1.4%のマスクAPを改善する。
  論文  参考訳（メタデータ） (2021-05-07T11:51:08Z)
• Online Multi-Object Tracking and Segmentation with GMPHD Filter and Mask-based Affinity Fusion [79.87371506464454]
  本稿では,インスタンス分割結果を入力として利用するMOTS法を提案する。 提案手法は,ガウス混合確率仮説密度 (GMPHD) フィルタ,階層型データアソシエーション (HDA) モデル,マスクベース親和性融合 (MAF) モデルに基づく。 2つの人気のあるMOTSデータセットの実験では、主要なモジュールがいくつかの改善点を示している。
  論文  参考訳（メタデータ） (2020-08-31T21:06:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。