論文の概要: Information contraction in noisy binary neural networks and its implications

• arxiv url: http://arxiv.org/abs/2101.11750v2
• Date: Mon, 1 Feb 2021 17:19:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-02 15:46:35.273870
• Title: Information contraction in noisy binary neural networks and its implications
• Title（参考訳）: 雑音二元系ニューラルネットワークにおける情報収縮とその意義
• Authors: Chuteng Zhou, Quntao Zhuang, Matthew Mattina, Paul N. Whatmough
• Abstract要約: 我々は、各ニューロンが不正な出力を発生させる確率がゼロでない、ノイズの多いバイナリニューラルネットワークを考察する。 私たちの重要な発見は、ノイズの多いニューラルネットワークで必要なニューロンの数が少ないことです。 本稿では,情報理論のレンズを通して,ノイズの多い情報処理システムに対する新たな理解を提供する。
• 参考スコア（独自算出の注目度）: 11.742803725197506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks have gained importance as the machine learning models that achieve state-of-the-art performance on large-scale image classification, object detection and natural language processing tasks. In this paper, we consider noisy binary neural networks, where each neuron has a non-zero probability of producing an incorrect output. These noisy models may arise from biological, physical and electronic contexts and constitute an important class of models that are relevant to the physical world. Intuitively, the number of neurons in such systems has to grow to compensate for the noise while maintaining the same level of expressive power and computation reliability. Our key finding is a lower bound for the required number of neurons in noisy neural networks, which is first of its kind. To prove this lower bound, we take an information theoretic approach and obtain a novel strong data processing inequality (SDPI), which not only generalizes the Evans-Schulman results for binary symmetric channels to general channels, but also improves the tightness drastically when applied to estimate end-to-end information contraction in networks. Our SDPI can be applied to various information processing systems, including neural networks and cellular automata. Applying the SDPI in noisy binary neural networks, we obtain our key lower bound and investigate its implications on network depth-width trade-offs, our results suggest a depth-width trade-off for noisy neural networks that is very different from the established understanding regarding noiseless neural networks. Furthermore, we apply the SDPI to study fault-tolerant cellular automata and obtain bounds on the error correction overheads and the relaxation time. This paper offers new understanding of noisy information processing systems through the lens of information theory.
• Abstract（参考訳）: ニューラルネットワークは、大規模画像分類、オブジェクト検出、自然言語処理タスクにおいて最先端のパフォーマンスを達成する機械学習モデルとして重要になっている。 本稿では、各ニューロンが不正確な出力を生じる確率がゼロでないノイズの多いバイナリニューラルネットワークについて検討する。 これらの騒がしいモデルは、生物学的、物理的、電子的な文脈から生じ、物理的世界に関連する重要な種類のモデルを構成する。 直感的には、そのようなシステムのニューロン数は、同じレベルの表現力と計算信頼性を維持しながらノイズを補うために増加する必要がある。 私たちの重要な発見は、ノイズの多いニューラルネットワークの必要な数のニューロンの境界が低くなっていることです。 この下限を証明するために、我々は情報理論のアプローチを採用し、二進対称チャネルに対するエバンス・シュルマンの結果を一般チャネルに一般化するだけでなく、ネットワークにおけるエンドツーエンドの情報収縮を推定する際のタイツネスを大幅に改善する、新しい強データ処理不等式(SDPI)を得る。 我々のSDPIは、ニューラルネットワークやセルオートマトンなど、さまざまな情報処理システムに適用できる。 ノイズのないニューラルネットワークに対する理解とは大きく異なるノイズの多いニューラルネットワークに対して,SDPIを雑音の多いバイナリニューラルネットワークに適用し,その鍵となる下位境界を求め,その影響をネットワークの深さ幅トレードオフに適用することを提案する。 さらに、SDPIを適用してフォールトトレラント細胞オートマトンを研究し、エラー訂正オーバーヘッドと緩和時間の境界を得る。 本稿では,情報理論のレンズを通して,雑音情報処理システムの新たな理解を提供する。

関連論文リスト

• Impact of spiking neurons leakages and network recurrences on event-based spatio-temporal pattern recognition [0.0]
  ニューロモルフィックハードウェアとイベントベースのセンサーを組み合わせたスパイクニューラルネットワークは、エッジにおける低レイテンシと低パワー推論への関心が高まっている。 スパイキングニューロンにおけるシナプスおよび膜漏れの影響について検討する。
  論文  参考訳（メタデータ） (2022-11-14T21:34:02Z)
• Searching for the Essence of Adversarial Perturbations [73.96215665913797]
  本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。 この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
  論文  参考訳（メタデータ） (2022-05-30T18:04:57Z)
• Bayesian Convolutional Neural Networks for Limited Data Hyperspectral Remote Sensing Image Classification [14.464344312441582]
  我々は、HSRS画像の分類に、ベイズニューラルネットワークと呼ばれる、ディープニューラルネットワークの特別なクラスを使用します。 ベイズニューラルネットワークは、不確実性を測定するための固有のツールを提供する。 ベイジアンネットワークは、同様に構築された非ベイジアン畳み込みニューラルネットワーク(CNN)と、既成のランダムフォレスト(RF)より優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-19T00:02:16Z)
• Biological error correction codes generate fault-tolerant neural networks [60.72524873719315]
  各ニューロンの欠陥が鋭い閾値以下であれば、普遍的なフォールトトレラントニューラルネットワークが実現可能であることを示す。 この発見は、人工知能と神経科学におけるノイズの多いアナログシステムを理解するための道を開く。
  論文  参考訳（メタデータ） (2022-02-25T18:55:46Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
  2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。 提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
  論文  参考訳（メタデータ） (2022-01-19T09:26:34Z)
• CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded Systems [0.0]
  畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。 本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
  論文  参考訳（メタデータ） (2021-12-01T18:20:52Z)
• Understanding and mitigating noise in trained deep neural networks [0.0]
  学習された完全連結層における雑音性非線形ニューロンからなるディープニューラルネットワークにおける雑音の伝搬について検討した。 ノイズ蓄積は一般に束縛されており、追加のネットワーク層を追加しても信号の雑音比が限界を超えないことがわかった。 我々は、ノイズ耐性を持つ新しいニューラルネットワークハードウェアを設計できる基準を特定した。
  論文  参考訳（メタデータ） (2021-03-12T17:16:26Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  この問題をより深く理解することで、情報がどのように処理され、ニューラルネットワークでエンコードされるかの理解を深めることができる。 敵対的回復力を高めるという私たちの考えは、人工ニューロンがAND様ニューロンとOR様ニューロンの2つの広いカテゴリーに分けられるという観察から始まります。 我々の仮説は、十分な数のOR様ニューロンのネットワークの存在は、分類「脆さ」につながり、ネットワークが敵対攻撃に対する感受性を高めることができるということです。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。