論文の概要: Designed Dithering Sign Activation for Binary Neural Networks

• arxiv url: http://arxiv.org/abs/2405.02220v2
• Date: Thu, 9 May 2024 16:02:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 15:21:52.183952
• Title: Designed Dithering Sign Activation for Binary Neural Networks
• Title（参考訳）: 二元ニューラルネットワークにおけるディザリング符号活性化の設計
• Authors: Brayan Monroy, Juan Estupiñan, Tatiana Gelvez-Barrera, Jorge Bacca, Henry Arguello,
• Abstract要約: 本研究は,複数の閾値をディザリングの原理に従って適用し,空間的に周期的なしきい値カーネルに従って各画素の符号活性化関数をシフトするアクティベーションを提案する。 分類タスクに関する実験は、計算コストを増大させることなく、バイナリニューラルネットワークの代替活性化として設計されたディザリングサイン活性化関数の有効性を示す。
• 参考スコア（独自算出の注目度）: 15.087814338685968
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary Neural Networks emerged as a cost-effective and energy-efficient solution for computer vision tasks by binarizing either network weights or activations. However, common binary activations, such as the Sign activation function, abruptly binarize the values with a single threshold, losing fine-grained details in the feature outputs. This work proposes an activation that applies multiple thresholds following dithering principles, shifting the Sign activation function for each pixel according to a spatially periodic threshold kernel. Unlike literature methods, the shifting is defined jointly for a set of adjacent pixels, taking advantage of spatial correlations. Experiments over the classification task demonstrate the effectiveness of the designed dithering Sign activation function as an alternative activation for binary neural networks, without increasing the computational cost. Further, DeSign balances the preservation of details with the efficiency of binary operations.
• Abstract（参考訳）: バイナリニューラルネットワークは、ネットワーク重みとアクティベーションのどちらかをバイナライズすることで、コンピュータビジョンタスクのコスト効率とエネルギー効率のよいソリューションとして登場した。 しかし、Sign アクティベーション関数のような一般的なバイナリアクティベーションは、値を1つのしきい値で突然二項化し、特徴出力の詳細な詳細を失う。 本研究は,複数の閾値をディザリングの原理に従って適用し,空間的に周期的なしきい値カーネルに従って各画素の符号活性化関数をシフトするアクティベーションを提案する。 文学的な方法とは異なり、シフトは隣接するピクセルの集合に対して共同で定義され、空間的相関を利用する。 分類タスクに関する実験は、計算コストを増大させることなく、バイナリニューラルネットワークの代替活性化として設計されたディザリングサイン活性化関数の有効性を示す。 さらに、DeSignは詳細の保存とバイナリ操作の効率のバランスをとる。

関連論文リスト

• Neuromorphic Synergy for Video Binarization [54.195375576583864]
  バイモーダルオブジェクトは視覚システムによって容易に認識できる情報を埋め込む視覚形式として機能する。 ニューロモルフィックカメラは、動きのぼかしを緩和する新しい機能を提供するが、最初にブルーを脱色し、画像をリアルタイムでバイナライズするのは簡単ではない。 本稿では,イベント空間と画像空間の両方で独立に推論を行うために,バイモーダル目標特性の事前知識を活用するイベントベースバイナリ再構築手法を提案する。 また、このバイナリ画像を高フレームレートバイナリビデオに伝搬する効率的な統合手法も開発している。
  論文  参考訳（メタデータ） (2024-02-20T01:43:51Z)
• Efficient Representation of the Activation Space in Deep Neural Networks [5.224743522146324]
  ディープニューラルネットワークにおけるアクティベーションの表現を生成するためのモデルに依存しないフレームワークを提案する。 このフレームワークは、最大4倍のp値計算時間でメモリ使用量を30%削減する。 推測時に生データを永続化しないため、攻撃やプライバシー問題への感受性を低下させる可能性がある。
  論文  参考訳（メタデータ） (2023-12-13T13:46:14Z)
• Fractional Concepts in Neural Networks: Enhancing Activation and Loss Functions [0.7614628596146602]
  本稿では,ニューラルネットワークにおける分数的概念を用いて,アクティベーションと損失関数の修正を行う手法を提案する。 これにより、ネットワーク内のニューロンがアクティベーション関数を調整して、入力データとの整合性を向上し、出力エラーを低減できる。
  論文  参考訳（メタデータ） (2023-10-18T10:49:29Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• STL: A Signed and Truncated Logarithm Activation Function for Neural Networks [5.9622541907827875]
  活性化関数はニューラルネットワークにおいて重要な役割を果たす。 本稿では,アクティベーション関数として符号付きおよび切り離された対数関数を提案する。 提案された活性化関数は、広範囲のニューラルネットワークに適用できる。
  論文  参考訳（メタデータ） (2023-07-31T03:41:14Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• Training Binary Neural Networks through Learning with Noisy Supervision [76.26677550127656]
  本稿では,ニューラルネットワーク上の二項化操作を学習の観点から定式化する。 ベンチマークデータセットの実験結果から,提案手法がベースラインよりも一貫した改善を達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-10-10T01:59:39Z)
• BiDet: An Efficient Binarized Object Detector [96.19708396510894]
  本稿では,効率的な物体検出のためのバイナライズニューラルネットワークのBiDetを提案する。 我々のBiDetは、冗長除去による物体検出にバイナリニューラルネットワークの表現能力を完全に活用している。 我々の手法は、最先端のバイナリニューラルネットワークを大きなマージンで上回る。
  論文  参考訳（メタデータ） (2020-03-09T08:16:16Z)
• BinaryDuo: Reducing Gradient Mismatch in Binary Activation Network by Coupling Binary Activations [16.92918746295432]
  本稿では,2つのバイナリアクティベーションを3次アクティベーションに結合するバイナリアクティベーションネットワークBinaryDuoを提案する。 実験結果から,BinaryDuoはパラメータと計算コストの同じベンチマークにおいて,最先端のBNNよりも優れていた。
  論文  参考訳（メタデータ） (2020-02-16T06:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。