論文の概要: End-to-end fully-binarized network design: from Generic Learned Thermometer to Block Pruning

• arxiv url: http://arxiv.org/abs/2505.13462v1
• Date: Mon, 05 May 2025 13:50:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-25 10:52:49.049251
• Title: End-to-end fully-binarized network design: from Generic Learned Thermometer to Block Pruning
• Title（参考訳）: エンドツーエンドフルバイナリネットワーク設計:ジェネリック・ラーニング・サーモメータからブロック・プルーニングへ
• Authors: Thien Nguyen, William Guicquero,
• Abstract要約: 本稿では、バイナリニューラルネットワーク(BNN)の入力データ表現を改善する符号化技術であるジェネリック学習温度計(GLT)を紹介する。 我々は,GLTが本質的にグローバルトーンマッピングを行うことで,BNNに汎用性をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 8.28720658988688
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing works on Binary Neural Network (BNN) mainly focus on model's weights and activations while discarding considerations on the input raw data. This article introduces Generic Learned Thermometer (GLT), an encoding technique to improve input data representation for BNN, relying on learning non linear quantization thresholds. This technique consists in multiple data binarizations which can advantageously replace a conventional Analog to Digital Conversion (ADC) that uses natural binary coding. Additionally, we jointly propose a compact topology with light-weight grouped convolutions being trained thanks to block pruning and Knowledge Distillation (KD), aiming at reducing furthermore the model size so as its computational complexity. We show that GLT brings versatility to the BNN by intrinsically performing global tone mapping, enabling significant accuracy gains in practice (demonstrated by simulations on the STL-10 and VWW datasets). Moreover, when combining GLT with our proposed block-pruning technique, we successfully achieve lightweight (under 1Mb), fully-binarized models with limited accuracy degradation while being suitable for in-sensor always-on inference use cases.
• Abstract（参考訳）: 既存のBNN(Binary Neural Network)の研究は主にモデルの重みとアクティベーションに焦点を当て、入力された生データに対する考慮を捨てている。 本稿では、非線形量子化しきい値の学習に依存するBNNの入力データ表現を改善する符号化技術であるジェネリック学習温度計(GLT)を紹介する。 この技術は、自然なバイナリコーディングを使用する従来のアナログからデジタルへの変換(ADC)を有利に置き換えることのできる、複数のデータビナライゼーションで構成されている。 さらに,ブロックプルーニングと知識蒸留(KD)により,軽量群畳み込みを訓練したコンパクトトポロジを共同で提案する。 我々は,GLTがグローバルトーンマッピングを内在的に実行することにより,BNNに汎用性をもたらすことを示す(STL-10とVWWデータセットのシミュレーションによって実証された)。 さらに,提案手法とGLTを併用することにより,センサ内常時推論のユースケースに適合しつつ,精度の低い軽量(1Mb以下)の完全二値化モデルの実現に成功した。

関連論文リスト

• BHViT: Binarized Hybrid Vision Transformer [53.38894971164072]
  モデルバイナライゼーションは畳み込みニューラルネットワーク(CNN)のリアルタイムおよびエネルギー効率の計算を可能にした。 本稿では,バイナライズフレンドリーなハイブリッドViTアーキテクチャであるBHViTとそのバイナライズモデルを提案する。 提案アルゴリズムは,バイナリ ViT 手法間でSOTA 性能を実現する。
  論文  参考訳（メタデータ） (2025-03-04T08:35:01Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• Algorithm-Hardware Co-Design of Distribution-Aware Logarithmic-Posit Encodings for Efficient DNN Inference [4.093167352780157]
  本稿では,ポジトリにインスパイアされた適応型ハードウェアフレンドリなデータ型であるLogarithmic Posits (LP)を紹介する。 また,LPQ(LP Quantization, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化, LP量子化)
  論文  参考訳（メタデータ） (2024-03-08T17:28:49Z)
• GSB: Group Superposition Binarization for Vision Transformer with Limited Training Samples [46.025105938192624]
  Vision Transformer (ViT) は様々なコンピュータビジョンタスクにおいて顕著に機能している。 ViTは通常、比較的限られた数のトレーニングサンプルで深刻なオーバーフィッティング問題に悩まされる。 本稿では,GSB(Group Superposition Binarization)と呼ばれる新しいモデルバイナライゼーション手法を提案する。
  論文  参考訳（メタデータ） (2023-05-13T14:48:09Z)
• Physics-aware deep neural networks for surrogate modeling of turbulent natural convection [0.0]
  Rayleigh-B'enard乱流流に対するPINNのサーロゲートモデルの使用を検討する。 標準ピンの精度が低いゾーンであるトレーニング境界に近い正規化として、どのように機能するかを示す。 50億のDNS座標全体のサロゲートの予測精度は、相対的なL2ノルムで[0.3% -- 4%]の範囲のすべてのフロー変数のエラーをもたらします。
  論文  参考訳（メタデータ） (2021-03-05T09:48:57Z)
• BiSNN: Training Spiking Neural Networks with Binary Weights via Bayesian Learning [37.376989855065545]
  Spiking Neural Networks(SNN)は、エネルギー効率を高める生物学的にインスパイアされたダイナミックなイベント駆動モデルです。 時間的にスパースなバイナリアクティベーションとバイナリ重みの利点を組み合わせたSNNモデルが導入された。 実験は、フル精度実装に関するパフォーマンス損失を検証します。
  論文  参考訳（メタデータ） (2020-12-15T14:06:36Z)
• Compressing deep neural networks on FPGAs to binary and ternary precision with HLS4ML [13.325670094073383]
  本稿では, hls4mlライブラリにおける2次ニューラルネットワークと3次ニューラルネットワークの実装について述べる。 モデル精度と資源消費のトレードオフについて論じる。 二分法と三分法の実装は、FPGAリソースを劇的に減らしながら高い精度の実装と類似した性能を持つ。
  論文  参考訳（メタデータ） (2020-03-11T10:46:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。