論文の概要: Activation Bottleneck: Sigmoidal Neural Networks Cannot Forecast a Straight Line

• arxiv url: http://arxiv.org/abs/2406.02146v1
• Date: Tue, 4 Jun 2024 09:34:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 17:01:41.469276
• Title: Activation Bottleneck: Sigmoidal Neural Networks Cannot Forecast a Straight Line
• Title（参考訳）: アクティベーション・ボトルネック:Sigmoidal Neural Networksは直線を予測できない
• Authors: Maximilian Toller, Hussain Hussain, Bernhard C Geiger,
• Abstract要約: ニューラルネットワークは、隠れたレイヤの1つが有界なイメージを持つ場合、アクティベーションボトルネックを持つ。 アクティベーションボトルネックのあるネットワークは、非有界シーケンスを予測できないことを示す。
• 参考スコア（独自算出の注目度）: 9.32284634024923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A neural network has an activation bottleneck if one of its hidden layers has a bounded image. We show that networks with an activation bottleneck cannot forecast unbounded sequences such as straight lines, random walks, or any sequence with a trend: The difference between prediction and ground truth becomes arbitrary large, regardless of the training procedure. Widely-used neural network architectures such as LSTM and GRU suffer from this limitation. In our analysis, we characterize activation bottlenecks and explain why they prevent sigmoidal networks from learning unbounded sequences. We experimentally validate our findings and discuss modifications to network architectures which mitigate the effects of activation bottlenecks.
• Abstract（参考訳）: ニューラルネットワークは、隠れたレイヤの1つが有界なイメージを持つ場合、アクティベーションボトルネックを持つ。 アクティベーションボトルネックのあるネットワークは、直線、ランダムウォーク、あるいはトレンドのある任意のシーケンスを予測できないことを示す。 LSTMやGRUといった広く使われているニューラルネットワークアーキテクチャは、この制限に悩まされている。 本分析では,アクティベーションボトルネックを特徴付けるとともに,シグモダルネットワークが非有界配列を学習するのを防ぐ理由を説明する。 本研究の成果を実験的に検証し,アクティベーションボトルネックの影響を緩和するネットワークアーキテクチャの変更について検討する。

関連論文リスト

• Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
  線形表現仮説(LRH)に対する反例を提示する。 入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。 これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
  論文  参考訳（メタデータ） (2024-08-20T15:04:37Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Performance Bounds for Neural Network Estimators: Applications in Fault Detection [2.388501293246858]
  ニューラルネットワークの堅牢性を定量化し,モデルに基づく異常検知器の構築とチューニングを行った。 チューニングでは,通常動作で想定される誤報発生率の上限を具体的に提示する。
  論文  参考訳（メタデータ） (2021-03-22T19:23:08Z)
• Bayesian Nested Neural Networks for Uncertainty Calibration and Adaptive Compression [40.35734017517066]
  ネストネットワーク(Nested Network)またはスリムブルネットワーク(Slimmable Network)は、テスト期間中にアーキテクチャを即座に調整できるニューラルネットワークである。 最近の研究は、トレーニング中に重要なレイヤのノードを順序付けできる"ネストされたドロップアウト"層に焦点を当てている。
  論文  参考訳（メタデータ） (2021-01-27T12:34:58Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss [0.0]
  勾配に基づく手法によるロジスティック(クロスエントロピー)損失を最小限に抑えるために訓練されたニューラルネットワークは、多くの教師付き分類タスクでうまく機能する。 我々は、均一な活性化を伴う無限に広い2層ニューラルネットワークのトレーニングと一般化の挙動を解析する。
  論文  参考訳（メタデータ） (2020-02-11T15:42:09Z)
• Internal representation dynamics and geometry in recurrent neural networks [10.016265742591674]
  本稿では,バニラRNNがネットワークのダイナミクスを解析することにより,単純な分類タスクを実現する方法を示す。 初期の内部表現はデータの実際のラベルから解放されるが、この情報は出力層に直接アクセスできない。
  論文  参考訳（メタデータ） (2020-01-09T23:19:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。