論文の概要: BOLD: Boolean Logic Deep Learning

• arxiv url: http://arxiv.org/abs/2405.16339v1
• Date: Sat, 25 May 2024 19:50:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 21:47:39.515560
• Title: BOLD: Boolean Logic Deep Learning
• Title（参考訳）: BOLD: ブール論理ディープラーニング
• Authors: Van Minh Nguyen, Cristian Ocampo, Aymen Askri, Louis Leconte, Ba-Hien Tran,
• Abstract要約: 本稿では、ブール重みと入力からなるニューロンを、降下勾配や実算術の代わりにブール論理を用いてブール領域で効率的に訓練できるようなブール変動の概念を導入する。 提案手法は,ImageNet分類におけるベースライン完全精度を実現し,セマンティックセグメンテーションの最先端結果を上回った。 トレーニングと推論の双方において、エネルギー消費を著しく減少させる。
• 参考スコア（独自算出の注目度）: 1.4272256806865107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning is computationally intensive, with significant efforts focused on reducing arithmetic complexity, particularly regarding energy consumption dominated by data movement. While existing literature emphasizes inference, training is considerably more resource-intensive. This paper proposes a novel mathematical principle by introducing the notion of Boolean variation such that neurons made of Boolean weights and inputs can be trained -- for the first time -- efficiently in Boolean domain using Boolean logic instead of gradient descent and real arithmetic. We explore its convergence, conduct extensively experimental benchmarking, and provide consistent complexity evaluation by considering chip architecture, memory hierarchy, dataflow, and arithmetic precision. Our approach achieves baseline full-precision accuracy in ImageNet classification and surpasses state-of-the-art results in semantic segmentation, with notable performance in image super-resolution, and natural language understanding with transformer-based models. Moreover, it significantly reduces energy consumption during both training and inference.
• Abstract（参考訳）: ディープラーニングは計算集約的であり、特にデータ移動に支配されるエネルギー消費に関して、算術的複雑性の低減に重点を置いている。 既存の文献では推論が重視されているが、トレーニングはリソース集約的である。 本稿では,ブール重みと入力からなるニューロンを,勾配勾配や実算術の代わりにブール論理を用いて,ブール領域で(初めて)効率的に訓練できるようなブール変動の概念を導入することで,新しい数学的原理を提案する。 我々は,その収束性を探究し,広範囲に実験的なベンチマークを行い,チップアーキテクチャ,メモリ階層,データフロー,演算精度を考慮した一貫した複雑性評価を行う。 提案手法は,イメージネット分類におけるベースライン完全精度を実現し,画像超解像における特徴的性能とトランスフォーマーモデルを用いた自然言語理解による意味的セグメンテーションの最先端結果を上回る。 さらに、トレーニングと推論の双方において、エネルギー消費を著しく削減する。

関連論文リスト

• Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE [68.6018458996143]
  本稿では,量子化と早期出口動的ネットワークを組み合わせたより一般的な動的ネットワークQuEEを提案する。 我々のアルゴリズムは、ソフトアーリーエグジットや入力依存圧縮の一形態と見なすことができる。 提案手法の重要な要素は、さらなる計算によって実現可能な潜在的な精度向上の正確な予測である。
  論文  参考訳（メタデータ） (2024-06-20T15:25:13Z)
• Towards Efficient Verification of Quantized Neural Networks [9.352320240912109]
  量子化は、深層ニューラルネットワークモデルにおける浮動小数点演算を整数演算に置き換える。 本研究では,勾配に基づく探索手法と有界伝播手法を用いて,効率を向上できることを示す。
  論文  参考訳（メタデータ） (2023-12-20T00:43:13Z)
• Incrementally-Computable Neural Networks: Efficient Inference for Dynamic Inputs [75.40636935415601]
  ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。 インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。 本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-27T16:30:27Z)
• Efficiently Factorizing Boolean Matrices using Proximal Gradient Descent [31.00422943397691]
  BMFを連続的に緩和する新しい弾性二元正則化器を提案する。 本研究では,本手法が実世界の合成・実世界のデータに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-07-14T20:22:21Z)
• Binary stochasticity enabled highly efficient neuromorphic deep learning achieves better-than-software accuracy [17.11946381948498]
  ディープラーニングには、フォワーディング信号の高精度処理、バックプロパゲーションエラー、ウェイトのアップデートが必要だ。 ノイズの多いアナログ・メムリスタを人工シナプスとして使用するハードウェアシステムでディープラーニングを実装することは困難である。 本稿では,全ての基本的ニューラルネットワーク操作を修飾する二進学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-25T14:38:36Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
  予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。 シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-16T00:11:04Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Bioinspired Cortex-based Fast Codebook Generation [0.09449650062296822]
  脳内の知覚皮質ネットワークにインスパイアされた特徴抽出法を提案する。 バイオインスパイアされた大脳皮質と呼ばれるこのアルゴリズムは、より優れた計算効率を持つストリーミング信号の特徴に収束する。 ここでは、クラスタリングおよびベクトル量子化における大脳皮質モデルの優れた性能を示す。
  論文  参考訳（メタデータ） (2022-01-28T18:37:43Z)
• Relative gradient optimization of the Jacobian term in unsupervised deep learning [9.385902422987677]
  データを正しく記述した表現的確率モデルを学習することは、機械学習におけるユビキタスな問題である。 このタスクには深度モデルが広く使用されているが、その最大可能性に基づくトレーニングでは、ジャコビアンの対数行列式を推定する必要がある。 このようなニューラルネットワークの正確なトレーニングのための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-26T16:41:08Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。