Fugu-MT 論文翻訳(概要): Expanding-and-Shrinking Binary Neural Networks

論文の概要: Expanding-and-Shrinking Binary Neural Networks

arxiv url: http://arxiv.org/abs/2503.23709v1
Date: Mon, 31 Mar 2025 04:13:33 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-01 14:35:22.970661
Title: Expanding-and-Shrinking Binary Neural Networks
Title（参考訳）: 拡張・縮小型2元ニューラルネットワーク
Authors: Xulong Shi, Caiyi Sun, Zhi Qi, Liu Hao, Xiaodong Yang,
Abstract要約: 本稿では,複雑性の増大を無視して二項特徴写像を拡張・縮小する操作を提案する。本手法は,画像分類,物体検出,生成拡散モデルなど,多種多様な応用に広く応用されている。
参考スコア（独自算出の注目度）: 3.6593289731343246
License:
Abstract: While binary neural networks (BNNs) offer significant benefits in terms of speed, memory and energy, they encounter substantial accuracy degradation in challenging tasks compared to their real-valued counterparts. Due to the binarization of weights and activations, the possible values of each entry in the feature maps generated by BNNs are strongly constrained. To tackle this limitation, we propose the expanding-and-shrinking operation, which enhances binary feature maps with negligible increase of computation complexity, thereby strengthening the representation capacity. Extensive experiments conducted on multiple benchmarks reveal that our approach generalizes well across diverse applications ranging from image classification, object detection to generative diffusion model, while also achieving remarkable improvement over various leading binarization algorithms based on different architectures including both CNNs and Transformers.
Abstract（参考訳）: バイナリニューラルネットワーク(BNN)は、スピード、メモリ、エネルギの面で大きなメリットを提供するが、実際の評価されたタスクに比べて、課題の精度が大幅に低下する。重み付けとアクティベーションの双対化により、BNNが生成する特徴写像の各エントリの値が強く制約される。この制限に対処するため、計算複雑性の無視できる増大を伴うバイナリ特徴写像を強化し、表現能力を向上する拡張縮小演算を提案する。複数のベンチマークで行った大規模な実験により,画像分類,オブジェクト検出,生成拡散モデルなど多種多様なアプリケーションにまたがるアプローチが一般化され,CNNやTransformerなど,さまざまなアーキテクチャに基づく先進二項化アルゴリズムよりも顕著に改善されていることが明らかになった。

関連論文リスト

BiDense: Binarization for Dense Prediction [62.70804353158387]
BiDenseは、効率よく正確な密度予測タスクのために設計された一般化されたバイナリニューラルネットワーク(BNN)である。 BiDenseは2つの重要なテクニックを取り入れている: 分散適応バイナリー (DAB) とチャネル適応完全精度バイパス (CFB) である。
論文参考訳（メタデータ） (2024-11-15T16:46:04Z)
SO(2) and O(2) Equivariance in Image Recognition with Bessel-Convolutional Neural Networks [63.24965775030674]
この研究はベッセル畳み込みニューラルネットワーク(B-CNN)の開発を示す B-CNNは、ベッセル関数に基づく特定の分解を利用して、画像とフィルタの間のキー操作を変更する。他の手法と比較して,B-CNNの性能を評価するために検討を行った。
論文参考訳（メタデータ） (2023-04-18T18:06:35Z)
Multiobjective Evolutionary Pruning of Deep Neural Networks with Transfer Learning for improving their Performance and Robustness [15.29595828816055]
本研究は,多目的進化解析アルゴリズムMO-EvoPruneDeepTLを提案する。我々は、トランスファーラーニングを使用して、遺伝的アルゴリズムによって進化したスパース層に置き換えることで、ディープニューラルネットワークの最後の層を適応します。実験の結果,提案手法は全ての目的に対して有望な結果が得られ,直接的な関係が示された。
論文参考訳（メタデータ） (2023-02-20T19:33:38Z)
Network Binarization via Contrastive Learning [16.274341164897827]
バイナリニューラルネットワーク(BNN)を訓練しながら、新しいコントラスト学習フレームワークを構築する。 MIはバイナリとFPのアクティベーション間で共有される情報を計測する指標として導入された。以上の結果から,本手法は既存の最先端バイナライズ手法の重ね合わせモジュールとして実装可能であることが示唆された。
論文参考訳（メタデータ） (2022-07-06T21:04:53Z)
Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文参考訳（メタデータ） (2022-05-11T17:43:54Z)
Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
論文参考訳（メタデータ） (2021-09-25T10:59:39Z)
Deep Neural Networks and PIDE discretizations [2.4063592468412276]
畳み込みニューラルネットワーク(CNN)の安定性と視野問題に対処するニューラルネットワークを提案する。本稿では,大域重み付きラプラス作用素,分数ラプラス作用素,分数逆ラプラス作用素に関連する積分型空間非局所作用素を提案する。自律運転における画像分類データセットとセマンティックセグメンテーションタスクのベンチマーク上で,提案したニューラルネットワークの有効性を検証した。
論文参考訳（メタデータ） (2021-08-05T08:03:01Z)
BiSNN: Training Spiking Neural Networks with Binary Weights via Bayesian Learning [37.376989855065545]
Spiking Neural Networks(SNN)は、エネルギー効率を高める生物学的にインスパイアされたダイナミックなイベント駆動モデルです。時間的にスパースなバイナリアクティベーションとバイナリ重みの利点を組み合わせたSNNモデルが導入された。実験は、フル精度実装に関するパフォーマンス損失を検証します。
論文参考訳（メタデータ） (2020-12-15T14:06:36Z)
High-Capacity Expert Binary Networks [56.87581500474093]
ネットワークバイナライゼーションは、効率的なディープモデルを作成するための、ハードウェア対応の有望な方向性である。メモリと計算上の優位性にもかかわらず、バイナリモデルとその実数値モデルの間の精度のギャップを縮めることは、未解決の課題である。本稿では,入力特徴に基づく時間に1つのデータ固有のエキスパートバイナリフィルタを選択することを学習することで,初めてバイナリネットワークに条件付きコンピューティングを適合させる専門家バイナリ畳み込みを提案する。
論文参考訳（メタデータ） (2020-10-07T17:58:10Z)
Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文参考訳（メタデータ） (2020-04-19T09:43:14Z)
Exploring the Connection Between Binary and Spiking Neural Networks [1.329054857829016]
両立ニューラルネットワークとスパイクニューラルネットワークの訓練における最近のアルゴリズムの進歩を橋渡しする。極端量子化システムにおけるスパイキングニューラルネットワークのトレーニングは,大規模データセット上でのほぼ完全な精度向上をもたらすことを示す。
論文参考訳（メタデータ） (2020-02-24T03:46:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。