論文の概要: FBPT: A Fully Binary Point Transformer

• arxiv url: http://arxiv.org/abs/2403.09998v2
• Date: Thu, 9 May 2024 06:35:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 17:39:27.479665
• Title: FBPT: A Fully Binary Point Transformer
• Title（参考訳）: FBPT:完全バイナリポイント変換器
• Authors: Zhixing Hou, Yuzhang Shang, Yan Yan,
• Abstract要約: 本稿では,ロボット工学やモバイルデバイスの分野で広く応用され拡張される可能性を持つ,FBPT(Fully Binary Point Cloud Transformer)モデルを提案する。 32ビットの完全精度ネットワークの重みとアクティベーションを1ビットのバイナリ値に圧縮することにより、提案したバイナリポイントクラウドトランスフォーマーネットワークは、ストレージフットプリントと計算リソースの要求を大幅に削減する。 本稿の主な焦点は、バイナリポイントクラウドトランスフォーマーモジュールの使用によるパフォーマンス劣化問題に対処することである。
• 参考スコア（独自算出の注目度）: 12.373066597900127
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a novel Fully Binary Point Cloud Transformer (FBPT) model which has the potential to be widely applied and expanded in the fields of robotics and mobile devices. By compressing the weights and activations of a 32-bit full-precision network to 1-bit binary values, the proposed binary point cloud Transformer network significantly reduces the storage footprint and computational resource requirements of neural network models for point cloud processing tasks, compared to full-precision point cloud networks. However, achieving a fully binary point cloud Transformer network, where all parts except the modules specific to the task are binary, poses challenges and bottlenecks in quantizing the activations of Q, K, V and self-attention in the attention module, as they do not adhere to simple probability distributions and can vary with input data. Furthermore, in our network, the binary attention module undergoes a degradation of the self-attention module due to the uniform distribution that occurs after the softmax operation. The primary focus of this paper is on addressing the performance degradation issue caused by the use of binary point cloud Transformer modules. We propose a novel binarization mechanism called dynamic-static hybridization. Specifically, our approach combines static binarization of the overall network model with fine granularity dynamic binarization of data-sensitive components. Furthermore, we make use of a novel hierarchical training scheme to obtain the optimal model and binarization parameters. These above improvements allow the proposed binarization method to outperform binarization methods applied to convolution neural networks when used in point cloud Transformer structures. To demonstrate the superiority of our algorithm, we conducted experiments on two different tasks: point cloud classification and place recognition.
• Abstract（参考訳）: 本稿では,ロボット工学やモバイルデバイスの分野で広く応用され拡張される可能性を持つ,FBPT(Fully Binary Point Cloud Transformer)モデルを提案する。 32ビットの完全精度ネットワークの重みとアクティベーションを1ビットのバイナリ値に圧縮することにより、提案されたバイナリポイントクラウドトランスフォーマーネットワークは、完全精度のクラウドネットワークと比較して、ポイントクラウド処理タスクのためのニューラルネットワークモデルのストレージフットプリントと計算リソース要求を著しく削減する。 しかし、タスク固有のモジュールを除く全ての部分がバイナリである完全なバイナリポイントクラウドトランスフォーマーネットワークの実現は、単純な確率分布に従わず、入力データによって変化するため、注意モジュールにおけるQ、K、Vのアクティベーションと自己アテンションの定量化において、課題とボトルネックを生じさせる。 さらに,本ネットワークでは,ソフトマックス操作後に発生する均一分布により,2次アテンションモジュールが自己アテンションモジュールの劣化を受ける。 本稿の主な焦点は、バイナリポイントクラウドトランスフォーマーモジュールの使用によるパフォーマンス劣化問題に対処することである。 動的静電ハイブリッド化と呼ばれる新しい二項化機構を提案する。 具体的には,ネットワークモデル全体の静的バイナライゼーションとデータ感度成分の微粒度動的バイナライゼーションを組み合わせる。 さらに、最適なモデルと二項化パラメータを得るために、新しい階層的学習手法を用いる。 これらの改善により、提案手法は、点雲トランスフォーマー構造を用いる場合、畳み込みニューラルネットワークに適用される双項化法より優れる。 アルゴリズムの優位性を示すために,ポイントクラウド分類と位置認識という2つの異なるタスクの実験を行った。

関連論文リスト

• Tiled Bit Networks: Sub-Bit Neural Network Compression Through Reuse of Learnable Binary Vectors [4.95475852994362]
  本稿では,バイナリ重み付きニューラルネットワークのサブビット圧縮を実現するために,ビット列を持つタイル型ニューラルネットワーク層に対する新しい量子化方式を提案する。 私たちは完全に接続された層と畳み込み層の両方にアプローチを採用しています。
  論文  参考訳（メタデータ） (2024-07-16T15:55:38Z)
• Input Layer Binarization with Bit-Plane Encoding [4.872439392746007]
  本稿では,入力データの8ビット表現を直接利用して,第1層をバイナライズする手法を提案する。 得られたモデルは完全にバイナライズされ、第1層バイナライズアプローチはモデル独立です。
  論文  参考訳（メタデータ） (2023-05-04T14:49:07Z)
• BiViT: Extremely Compressed Binary Vision Transformer [19.985314022860432]
  両眼視変換器(BiViT)の地平線を推し進めるための2つの基本的な課題について提案する。 本稿では,データ分布に動的に適応し,バイナライゼーションによる誤差を低減するソフトマックス対応バイナリ化を提案する。 提案手法は,TinyImageNetデータセット上で,最先端技術に対して19.8%向上する。
  論文  参考訳（メタデータ） (2022-11-14T03:36:38Z)
• BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance [54.214426436283134]
  Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。 我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。 小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
  論文  参考訳（メタデータ） (2022-11-13T18:31:45Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• BiPointNet: Binary Neural Network for Point Clouds [73.07852523426224]
  BiPointNetは、ポイントクラウド上の効率的なディープラーニングのための最初のモデルバイナライズアプローチである。 BiPointNetは、実世界のリソース制約のあるデバイスで14.7倍のスピードアップと18.9倍のストレージを提供する。
  論文  参考訳（メタデータ） (2020-10-12T07:54:51Z)
• High-Capacity Expert Binary Networks [56.87581500474093]
  ネットワークバイナライゼーションは、効率的なディープモデルを作成するための、ハードウェア対応の有望な方向性である。 メモリと計算上の優位性にもかかわらず、バイナリモデルとその実数値モデルの間の精度のギャップを縮めることは、未解決の課題である。 本稿では,入力特徴に基づく時間に1つのデータ固有のエキスパートバイナリフィルタを選択することを学習することで,初めてバイナリネットワークに条件付きコンピューティングを適合させる専門家バイナリ畳み込みを提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:58:10Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。