論文の概要: Boolean learning under noise-perturbations in hardware neural networks

• arxiv url: http://arxiv.org/abs/2003.12319v2
• Date: Fri, 25 Jun 2021 09:41:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 04:27:01.209659
• Title: Boolean learning under noise-perturbations in hardware neural networks
• Title（参考訳）: ハードウェアニューラルネットワークにおけるノイズ摂動下でのブール学習
• Authors: Louis Andreoli, Xavier Porte, St\'ephane Chr\'etien, Maxime Jacquot, Laurent Larger and Daniel Brunner
• Abstract要約: ノイズは収束中にシステムの経路を強く変更し,最終的な読み出し重量行列を驚くほど完全にデコレーションすることがわかった。 これは、相互作用するプレイヤーとしてのアーキテクチャ、ノイズ、学習アルゴリズムを理解することの重要性を強調している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A high efficiency hardware integration of neural networks benefits from realizing nonlinearity, network connectivity and learning fully in a physical substrate. Multiple systems have recently implemented some or all of these operations, yet the focus was placed on addressing technological challenges. Fundamental questions regarding learning in hardware neural networks remain largely unexplored. Noise in particular is unavoidable in such architectures, and here we investigate its interaction with a learning algorithm using an opto-electronic recurrent neural network. We find that noise strongly modifies the system's path during convergence, and surprisingly fully decorrelates the final readout weight matrices. This highlights the importance of understanding architecture, noise and learning algorithm as interacting players, and therefore identifies the need for mathematical tools for noisy, analogue system optimization.
• Abstract（参考訳）: ニューラルネットワークの高効率なハードウェア統合は、非線形性の実現、ネットワーク接続、物理基板での学習から恩恵を受ける。 最近、複数のシステムがこれらの操作の一部を実装したが、技術的な課題に対処することに焦点が当てられた。 ハードウェアニューラルネットワークの学習に関する基本的な疑問はほとんど未解決のままである。 このようなアーキテクチャでは特にノイズは避けられず、光電子リカレントニューラルネットワークを用いた学習アルゴリズムとのインタラクションについて検討する。 ノイズは収束中のシステムの経路を強く修飾し、最終的な読み出し重み行列を驚くほど完全に分離する。 これは、相互作用するプレイヤーとしてアーキテクチャ、ノイズ、学習アルゴリズムを理解することの重要性を強調し、ノイズの多いアナログシステムの最適化のための数学的ツールの必要性を特定する。

関連論文リスト

• Deep Learning Meets Sparse Regularization: A Signal Processing Perspective [17.12783792226575]
  データに適合するように訓練されたニューラルネットワークの機能特性を特徴付ける数学的枠組みを提案する。 このフレームワークをサポートする主要な数学的ツールは、変換領域スパース正規化、計算トモグラフィーのラドン変換、近似理論である。 このフレームワークは、ニューラルネットワークトレーニングにおける重量減衰正則化の効果、ネットワークアーキテクチャにおけるスキップ接続と低ランク重量行列の使用、ニューラルネットワークにおける空間性の役割、そしてニューラルネットワークが高次元問題でうまく機能する理由を説明する。
  論文  参考訳（メタデータ） (2023-01-23T17:16:21Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Understanding and mitigating noise in trained deep neural networks [0.0]
  学習された完全連結層における雑音性非線形ニューロンからなるディープニューラルネットワークにおける雑音の伝搬について検討した。 ノイズ蓄積は一般に束縛されており、追加のネットワーク層を追加しても信号の雑音比が限界を超えないことがわかった。 我々は、ノイズ耐性を持つ新しいニューラルネットワークハードウェアを設計できる基準を特定した。
  論文  参考訳（メタデータ） (2021-03-12T17:16:26Z)
• Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
  ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。 これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。 以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-22T17:33:51Z)
• An SMT-Based Approach for Verifying Binarized Neural Networks [1.4394939014120451]
  本稿では,SMTを用いた二元化ニューラルネットワークの検証手法を提案する。 我々の手法の1つの新しい点は、二項化コンポーネントと非二項化コンポーネントの両方を含むニューラルネットワークの検証を可能にすることである。 我々は、この手法をマラブーフレームワークの拡張として実装し、一般的な二項化ニューラルネットワークアーキテクチャのアプローチを評価する。
  論文  参考訳（メタデータ） (2020-11-05T16:21:26Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)
• Noisy Machines: Understanding Noisy Neural Networks and Enhancing Robustness to Analog Hardware Errors Using Distillation [12.30062870698165]
  ノイズの多いニューラルネットワークが、入力と出力の相互情報を失うことによって、学習能力を減らしたことを示す。 そこで本研究では,学習中に知識蒸留とノイズ注入を併用して,より高ノイズロバストなネットワークを実現することを提案する。 提案手法は,従来の最良試行の2倍の耐雑音性を有するモデルを実現する。
  論文  参考訳（メタデータ） (2020-01-14T18:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。