論文の概要: Neural Network based on Automatic Differentiation Transformation of
Numeric Iterate-to-Fixedpoint
- arxiv url: http://arxiv.org/abs/2111.00326v1
- Date: Sat, 30 Oct 2021 20:34:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-02 16:25:09.933092
- Title: Neural Network based on Automatic Differentiation Transformation of
Numeric Iterate-to-Fixedpoint
- Title（参考訳）: 数値 iterate-to-fixedpoint の自動微分変換に基づくニューラルネットワーク
- Authors: Mansura Habiba, Barak A. Pearlmutter
- Abstract要約: 本研究では,反復固定点演算子を用いて深度を制御できるニューラルネットワークモデルを提案する。
既存のスキップ接続の概念とは対照的に,提案手法では,情報をネットワーク上で上下に流すことができる。
我々は,この機構を長期依存タスクに応用したモデルの評価を行った。
- 参考スコア（独自算出の注目度）: 1.1897857181479061
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work proposes a Neural Network model that can control its depth using an
iterate-to-fixed-point operator. The architecture starts with a standard
layered Network but with added connections from current later to earlier
layers, along with a gate to make them inactive under most circumstances. These
``temporal wormhole'' connections create a shortcut that allows the Neural
Network to use the information available at deeper layers and re-do earlier
computations with modulated inputs. End-to-end training is accomplished by
using appropriate calculations for a numeric iterate-to-fixed-point operator.
In a typical case, where the ``wormhole'' connections are inactive, this is
inexpensive; but when they are active, the network takes a longer time to
settle down, and the gradient calculation is also more laborious, with an
effect similar to making the network deeper. In contrast to the existing
skip-connection concept, this proposed technique enables information to flow up
and down in the network. Furthermore, the flow of information follows a fashion
that seems analogous to the afferent and efferent flow of information through
layers of processing in the brain. We evaluate models that use this novel
mechanism on different long-term dependency tasks. The results are competitive
with other studies, showing that the proposed model contributes significantly
to overcoming traditional deep learning models' vanishing gradient descent
problem. At the same time, the training time is significantly reduced, as the
``easy'' input cases are processed more quickly than ``difficult'' ones.
- Abstract（参考訳）: 本研究では,反復固定点演算子を用いて深度を制御できるニューラルネットワークモデルを提案する。
アーキテクチャは標準のレイヤネットワークから始まるが、現在のレイヤから以前のレイヤへの接続を追加し、ほとんどの状況では非アクティブにするためのゲートも備えている。
これらの `temporal wormhole' 接続はショートカットを生成し、ニューラルネットワークはより深い層で利用可能な情報を使用し、変調された入力で以前の計算を再実行することができる。
数値反復固定点演算子に対する適切な計算を用いてエンドツーエンドの訓練を行う。
典型的な場合、'ワームホール'接続が非アクティブである場合、これは安価であるが、アクティブな場合、ネットワークが落ち着くのに長い時間がかかるため、勾配計算もより手間がかかり、ネットワークをより深くする効果がある。
既存のスキップ接続の概念とは対照的に,提案手法では,情報をネットワーク上で上下に流すことができる。
さらに、情報の流れは、脳内の処理層を通しての情報の求心性と消耗的な流れに類似しているように見えるやり方に従っている。
我々は,この機構を長期依存タスクに応用したモデルを評価する。
その結果,従来の深層学習モデルが消失する勾配降下問題を克服する上で,提案モデルが著しく寄与することが示された。
同時に、`easy''入力ケースは ``difficult''入力ケースよりも高速に処理されるので、トレーニング時間が大幅に短縮される。
関連論文リスト
- Stitching for Neuroevolution: Recombining Deep Neural Networks without Breaking Them [0.0]
神経進化への伝統的なアプローチは、しばしばゼロから始まる。
アーキテクチャと特徴表現が典型的に異なるため、トレーニングされたネットワークの再結合は簡単ではない。
我々は、クロスオーバーポイントで新しいレイヤを導入することで、ネットワークをマージするステアリングを採用しています。
論文 参考訳（メタデータ） (2024-03-21T08:30:44Z) - Incrementally-Computable Neural Networks: Efficient Inference for
Dynamic Inputs [75.40636935415601]
ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。
インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。
本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-07-27T16:30:27Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Rewiring Networks for Graph Neural Network Training Using Discrete
Geometry [0.0]
情報オーバースカッシングはグラフニューラルネットワーク(GNN)のトレーニングに大きな影響を与える問題である
本稿では,ネットワーク上の情報の流れをモデル化し,それらを再構成するために,古典幾何学的な曲率の概念の離散アナログを用いて検討する。
これらの古典的概念は、様々な実世界のネットワークデータセット上でのGNNトレーニング精度において、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-07-16T21:50:39Z) - SignalNet: A Low Resolution Sinusoid Decomposition and Estimation
Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。
基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。
シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文 参考訳（メタデータ） (2021-06-10T04:21:20Z) - Implicit recurrent networks: A novel approach to stationary input
processing with recurrent neural networks in deep learning [0.0]
本研究では,ニューラルネットの新たな実装を深層学習に導入し,検証する。
繰り返しネットワークの暗黙的な実装にバックプロパゲーションアルゴリズムを実装するアルゴリズムを提案する。
シングルレイヤの暗黙的リカレントネットワークはXOR問題を解くことができ、一方、単調に活性化関数が増加するフィードフォワードネットワークは、このタスクで失敗する。
論文 参考訳（メタデータ） (2020-10-20T18:55:32Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Prior knowledge distillation based on financial time series [0.8756822885568589]
我々は,ニューラルネットワークを用いて指標を表現し,より小さなネットワークを特徴層として構築した大規模ネットワークを訓練することを提案する。
数値実験により,本アルゴリズムは実際の財務データセットの従来の手法よりも高速かつ高精度であることが判明した。
論文 参考訳（メタデータ） (2020-06-16T15:26:06Z) - Depth Enables Long-Term Memory for Recurrent Neural Networks [0.0]
本稿では,スタートエンド分離ランク(Start-End separation rank)と呼ばれる時間的情報フローを支援するネットワークの能力を評価する。
より深い再帰的ネットワークは、浅いネットワークで支えられるものよりも高いスタートエンド分離ランクをサポートすることを証明している。
論文 参考訳（メタデータ） (2020-03-23T10:29:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。