論文の概要: Irregularly Tabulated MLP for Fast Point Feature Embedding
- arxiv url: http://arxiv.org/abs/2011.09852v1
- Date: Fri, 13 Nov 2020 04:15:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-25 23:36:09.502731
- Title: Irregularly Tabulated MLP for Fast Point Feature Embedding
- Title（参考訳）: 高速特徴埋め込みのための不規則タブ付きMLP
- Authors: Yusuke Sekikawa, Teppei Suzuki
- Abstract要約: 本稿では,一対の多層パーセプトロン (MLP) とルックアップテーブル (LUT) を用いて,点座標入力を高次元特徴に変換する新しいフレームワークを提案する。
LUTIMLPはまた、埋め込み関数のヤコビアンに対して大きなスピードアップを提供する。
- 参考スコア（独自算出の注目度）: 13.218995242910497
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Aiming at drastic speedup for point-feature embeddings at test time, we
propose a new framework that uses a pair of multi-layer perceptrons (MLP) and a
lookup table (LUT) to transform point-coordinate inputs into high-dimensional
features. When compared with PointNet's feature embedding part realized by MLP
that requires millions of dot products, the proposed framework at test time
requires no such layers of matrix-vector products but requires only looking up
the nearest entities from the tabulated MLP followed by interpolation, defined
over discrete inputs on a 3D lattice that is substantially arranged
irregularly. We call this framework LUTI-MLP: LUT Interpolation ML that
provides a way to train end-to-end irregularly tabulated MLP coupled to a LUT
in a specific manner without the need for any approximation at test time.
LUTI-MLP also provides significant speedup for Jacobian computation of the
embedding function wrt global pose coordinate on Lie algebra $\mathfrak{se}(3)$
at test time, which could be used for point-set registration problems. After
extensive evaluation using the ModelNet40, we confirmed that the LUTI-MLP even
with a small (e.g., $4^3$) lattice yields performance comparable to that of the
MLP while achieving significant speedup: $100\times$ for the embedding,
$12\times$ for the approximate Jacobian, and $860\times$ for the canonical
Jacobian.
- Abstract（参考訳）: そこで本研究では,複数層パーセプトロン (mlp) とルックアップテーブル (lut) を併用し,点座標入力を高次元に変換する新しいフレームワークを提案する。
何百万ものドット積を必要とするMPPによって実現されたPointNetの機能埋め込み部と比較して、テスト時のフレームワークはそのような行列ベクトル積の層は必要とせず、グラフ化されたMLPから最も近いエンティティを探索し、補間を行い、3D格子上の離散的な入力に対して実質的に不規則に整列される。
このフレームワークをLUTI-MLP: LUT Interpolation MLと呼び、テスト時に近似を必要とせずに、特定の方法でLUTに結合された終端から終端まで不規則に集計されたMLPを訓練する方法を提供する。
LUTI-MLP はまた、Lie 代数 $\mathfrak{se}(3)$ 上の埋め込み関数 wrt グローバルポーズ座標のジャコビアン計算において、点集合登録問題に使用できる大きな高速化を提供する。
ModelNet40を用いた広範囲な評価の結果、LUTI-MLPは小さい(例:4^3$)格子でもMLPに匹敵する性能を保ちながら、大きなスピードアップを実現していることを確認した:埋め込みは100\times$、近似ヤコビアンは12\times$、標準ヤコビアンは860\times$。
関連論文リスト
- SiT-MLP: A Simple MLP with Point-wise Topology Feature Learning for Skeleton-based Action Recognition [9.673505408890435]
グラフネットワーク(GCN)は骨格に基づく行動認識において顕著な性能を発揮している。
従来のGCNベースの手法は、精巧な人間の先行を過度に頼り、複雑な特徴集約機構を構築した。
本研究では骨格に基づく行動認識のための新しいモデルSiT-MLPを提案する。
論文 参考訳（メタデータ） (2023-08-30T13:20:54Z) - Tuning Pre-trained Model via Moment Probing [62.445281364055795]
本稿では,LP の可能性を探るため,新しい Moment Probing (MP) 法を提案する。
MPは、最終特徴の平均に基づいて線形分類ヘッドを実行する。
当社のMPはLPを著しく上回り、トレーニングコストの低い相手と競争しています。
論文 参考訳（メタデータ） (2023-07-21T04:15:02Z) - NTK-approximating MLP Fusion for Efficient Language Model Fine-tuning [40.994306592119266]
訓練済みの言語モデル(PLM)を微調整することは、多くの自然言語処理アプリケーションにおいて主要な戦略として現れる。
いくつかの一般的なアプローチ(量子化や蒸留など)は、PLM微細チューニングの計算/メモリを減らすために広く研究されている。
我々は、NTK近似モジュールを融合して軽量PLMを作成することを提案する。
論文 参考訳（メタデータ） (2023-07-18T03:12:51Z) - TriMLP: Revenge of a MLP-like Architecture in Sequential Recommendation [23.32537260687907]
本稿では,TriMLPという逐次レコメンデーションのためのシーケンシャルなアーキテクチャと,クロストークン通信のための新しい三角形ミキサーを提案する。
三角ミキサーの設計において,基本行列乗算としてのクロストケン操作のイナシイを単純化し,重み行列の下方三角形ニューロンを落として,反時間次接続を将来のトークンからブロックする。
論文 参考訳（メタデータ） (2023-05-24T03:32:31Z) - Parameterization of Cross-Token Relations with Relative Positional
Encoding for Vision MLP [52.25478388220691]
視覚多層パーセプトロン(MLP)はコンピュータビジョンタスクにおいて有望な性能を示す。
トークンミキシングレイヤを使用して、トランスフォーマーが使用するマルチヘッド自己保持機構とは対照的に、クロストークンインタラクションをキャプチャする。
トークン混合のためのクロストークン関係を効率的に符号化する新しい位置空間ゲーティングユニット(PoSGU)を提案する。
論文 参考訳（メタデータ） (2022-07-15T04:18:06Z) - ReLU Fields: The Little Non-linearity That Could [62.228229880658404]
我々は,高忠実度結果の保持を可能にするグリッドベース表現に対する最小の変更点について検討する。
このようなアプローチが最先端技術と競合することを示します。
論文 参考訳（メタデータ） (2022-05-22T13:42:31Z) - Rethinking Network Design and Local Geometry in Point Cloud: A Simple
Residual MLP Framework [55.40001810884942]
我々は、洗練された局所幾何学的抽出器を組み込んだ純粋な残留ネットワークPointMLPを導入するが、それでも非常に競争力がある。
実世界のScanObjectNNデータセットでは,従来のベストメソッドを3.3%の精度で上回ります。
最新のCurveNetと比較して、PointMLPは2倍速く、テストは7倍速く、ModelNet40ベンチマークではより正確である。
論文 参考訳（メタデータ） (2022-02-15T01:39:07Z) - Hire-MLP: Vision MLP via Hierarchical Rearrangement [58.33383667626998]
Hire-MLPは、再配置によるシンプルだが競合する視覚アーキテクチャである。
提案したHire-MLPアーキテクチャは、単純なチャネル混合操作で構築されており、高い柔軟性と推論速度を享受できる。
実験の結果,Herre-MLPはImageNet-1Kベンチマークで最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2021-08-30T16:11:04Z) - CycleMLP: A MLP-like Architecture for Dense Prediction [26.74203747156439]
CycleMLPは視覚認識と密度予測のための汎用的なバックボーンである。
様々な画像サイズに対処でき、ローカルウィンドウを使用することで、画像サイズに対する線形計算の複雑さを実現する。
CycleMLPは、モデルに対するオブジェクト検出、インスタンスセグメンテーション、セマンティックセグメンテーションの競合するベースラインを提供することを目的としている。
論文 参考訳（メタデータ） (2021-07-21T17:23:06Z) - AS-MLP: An Axial Shifted MLP Architecture for Vision [50.11765148947432]
本稿では,Axial Shifted Architecture (AS-MLP)を提案する。
特徴写像のチャネルを軸シフトすることにより、AS-MLPは異なる方向から情報の流れを得ることができる。
提案したAS-MLPアーキテクチャでは,ImageNet-1Kデータセット上の88Mパラメータと15.2GFLOPを用いて,83.3%のTop-1精度が得られる。
論文 参考訳（メタデータ） (2021-07-18T08:56:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。