論文の概要: Towards Narrowing the Generalization Gap in Deep Boolean Networks
- arxiv url: http://arxiv.org/abs/2409.05905v1
- Date: Fri, 6 Sep 2024 09:16:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 22:10:02.853805
- Title: Towards Narrowing the Generalization Gap in Deep Boolean Networks
- Title（参考訳）: 深いブールネットワークにおける一般化ギャップの狭化に向けて
- Authors: Youngsung Kim,
- Abstract要約: 本稿では,従来のブリアンネットワークを越えつつ,ブリアンネットワークの深層化を図る戦略について検討する。
本稿では,論理的スキップ接続と空間性保持サンプリングを含む新しい手法を提案し,視覚タスクで検証する。
本稿では,1ビット論理演算による計算コストを最小化しながら,深いBooleanネットワークがハイパフォーマンスを維持する方法を示す。
- 参考スコア（独自算出の注目度）: 3.230778132936486
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid growth of the size and complexity in deep neural networks has sharply increased computational demands, challenging their efficient deployment in real-world scenarios. Boolean networks, constructed with logic gates, offer a hardware-friendly alternative that could enable more efficient implementation. However, their ability to match the performance of traditional networks has remained uncertain. This paper explores strategies to enhance deep Boolean networks with the aim of surpassing their traditional counterparts. We propose novel methods, including logical skip connections and spatiality preserving sampling, and validate them on vision tasks using widely adopted datasets, demonstrating significant improvement over existing approaches. Our analysis shows how deep Boolean networks can maintain high performance while minimizing computational costs through 1-bit logic operations. These findings suggest that Boolean networks are a promising direction for efficient, high-performance deep learning models, with significant potential for advancing hardware-accelerated AI applications.
- Abstract（参考訳）: ディープニューラルネットワークにおけるサイズと複雑さの急速な成長は、計算要求を急激に増加させ、現実のシナリオにおける効率的なデプロイメントに挑戦した。
論理ゲートで構築されたブールネットワークは、より効率的な実装を可能にするハードウェアフレンドリーな代替手段を提供する。
しかし、従来のネットワークの性能に合致する能力はいまだに不明である。
本稿では,従来のブリアンネットワークを越えつつ,ブリアンネットワークの深層化を図る戦略について検討する。
本稿では,論理的スキップ接続と空間性保存サンプリングを含む新しい手法を提案する。
本稿では,1ビット論理演算による計算コストを最小化しながら,深いBooleanネットワークがハイパフォーマンスを維持する方法を示す。
これらの結果は、Booleanネットワークが効率的で高性能なディープラーニングモデルにとって有望な方向であり、ハードウェアアクセラレーションされたAIアプリケーションを前進させる大きな可能性を示唆している。
関連論文リスト
- AI Flow at the Network Edge [58.31090055138711]
AI Flowは、デバイス、エッジノード、クラウドサーバ間で利用可能な異種リソースを共同で活用することで、推論プロセスを合理化するフレームワークである。
この記事では、AI Flowのモチベーション、課題、原則を特定するためのポジションペーパーとして機能する。
論文 参考訳（メタデータ） (2024-11-19T12:51:17Z) - RDRN: Recursively Defined Residual Network for Image Super-Resolution [58.64907136562178]
深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像において顕著な性能を得た。
本稿では,注目ブロックを効率的に活用する新しいネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-11-17T11:06:29Z) - A Faster Approach to Spiking Deep Convolutional Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)は、現在のディープニューラルネットワークよりも脳に近いダイナミクスを持つ。
ネットワークのランタイムと精度を改善するために,従来の作業に基づくネットワーク構造を提案する。
論文 参考訳（メタデータ） (2022-10-31T16:13:15Z) - DDCNet: Deep Dilated Convolutional Neural Network for Dense Prediction [0.0]
受容場(ERF)とネットワーク内の空間的特徴の高分解能は、高分解能密度推定を提供することに不可欠である。
空間的特徴の解像度を高く保ちながら、より大きな受容場を提供できるネットワークアーキテクチャを設計するための体系的なアプローチを提案する。
論文 参考訳（メタデータ） (2021-07-09T23:15:34Z) - Sparsity in Deep Learning: Pruning and growth for efficient inference
and training in neural networks [78.47459801017959]
Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。
ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
論文 参考訳（メタデータ） (2021-01-31T22:48:50Z) - Attentional Local Contrast Networks for Infrared Small Target Detection [15.882749652217653]
赤外線小目標検出のための新しいモデル駆動深層ネットワークを提案する。
従来の局所コントラスト測定法を、エンドツーエンドネットワークにおける深さ自在なパラメータレス非線形特徴精製層としてモジュール化します。
ネットワークアーキテクチャの各コンポーネントの有効性と効率を実証的に検証するために,ネットワーク奥行きの異なる詳細なアブレーション研究を行う。
論文 参考訳（メタデータ） (2020-12-15T19:33:09Z) - Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。
また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
論文 参考訳（メタデータ） (2020-04-17T20:21:47Z) - LogicNets: Co-Designed Neural Networks and Circuits for
Extreme-Throughput Applications [6.9276012494882835]
本稿では,高効率FPGA実装に直接マップするニューラルネットワークトポロジを設計する新しい手法を提案する。
その結果,低ビット化と疎結合化の両立により,論理深度が小さく,LUTコストが低い高速回路が実現された。
論文 参考訳（メタデータ） (2020-04-06T22:15:41Z) - Resolution Adaptive Networks for Efficient Inference [53.04907454606711]
本稿では,低分解能表現が「容易」な入力を分類するのに十分である,という直感に触発された新しいレゾリューション適応ネットワーク(RANet)を提案する。
RANetでは、入力画像はまず、低解像度表現を効率的に抽出する軽量サブネットワークにルーティングされる。
ネットワーク内の高解像度パスは、"ハード"サンプルを認識する能力を維持している。
論文 参考訳（メタデータ） (2020-03-16T16:54:36Z) - Exploring the Connection Between Binary and Spiking Neural Networks [1.329054857829016]
両立ニューラルネットワークとスパイクニューラルネットワークの訓練における最近のアルゴリズムの進歩を橋渡しする。
極端量子化システムにおけるスパイキングニューラルネットワークのトレーニングは,大規模データセット上でのほぼ完全な精度向上をもたらすことを示す。
論文 参考訳（メタデータ） (2020-02-24T03:46:51Z) - Depthwise Non-local Module for Fast Salient Object Detection Using a
Single Thread [136.2224792151324]
本稿では,高速な物体検出のための新しいディープラーニングアルゴリズムを提案する。
提案アルゴリズムは,1つのCPUスレッドと同時に,競合精度と高い推論効率を実現する。
論文 参考訳（メタデータ） (2020-01-22T15:23:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。