論文の概要: Theoretical Conditions and Empirical Failure of Bracket Counting on Long
Sequences with Linear Recurrent Networks
- arxiv url: http://arxiv.org/abs/2304.03639v1
- Date: Fri, 7 Apr 2023 13:42:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-10 11:56:21.744455
- Title: Theoretical Conditions and Empirical Failure of Bracket Counting on Long
Sequences with Linear Recurrent Networks
- Title（参考訳）: リニアリカレントネットワークを用いた長周期ブラケットカウントの理論的条件と実証的失敗
- Authors: Nadine El-Naggar, Pranava Madhyastha, Tillman Weyde
- Abstract要約: 線形単一セルネットワークであるRNNについて検討する。
モデルが正確なカウント動作を示す条件を特定する。
線形RNNは、通常、標準手法で訓練された場合の振る舞いをカウントするのに必要かつ十分な条件を満たさないことが観察された。
- 参考スコア（独自算出の注目度）: 11.754328280233628
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Previous work has established that RNNs with an unbounded activation function
have the capacity to count exactly. However, it has also been shown that RNNs
are challenging to train effectively and generally do not learn exact counting
behaviour. In this paper, we focus on this problem by studying the simplest
possible RNN, a linear single-cell network. We conduct a theoretical analysis
of linear RNNs and identify conditions for the models to exhibit exact counting
behaviour. We provide a formal proof that these conditions are necessary and
sufficient. We also conduct an empirical analysis using tasks involving a
Dyck-1-like Balanced Bracket language under two different settings. We observe
that linear RNNs generally do not meet the necessary and sufficient conditions
for counting behaviour when trained with the standard approach. We investigate
how varying the length of training sequences and utilising different target
classes impacts model behaviour during training and the ability of linear RNN
models to effectively approximate the indicator conditions.
- Abstract（参考訳）: 以前の研究では、unboundedアクティベーション関数を持つrnnが正確にカウントする能力を持つことが確定している。
しかし、RNNは効果的にトレーニングすることは難しく、一般的に正確なカウント動作を学習していないことも示されている。
本稿では,線形単一セルネットワークであるRNNを最小化することで,この問題に焦点をあてる。
線形rnnの理論的解析を行い,モデルが正確な計数行動を示すための条件を同定する。
これらの条件が必要かつ十分であることを形式的に証明する。
また,dyck-1ライクなバランスドブラケット言語を含むタスクを2つの異なる設定下で経験的分析を行う。
線形RNNは一般に、標準手法で訓練された場合の振る舞いをカウントするのに必要かつ十分な条件を満たしていない。
本研究では,学習中のモデル行動と線形RNNモデルによる指標条件を効果的に近似する能力に,トレーニングシーケンスの長さの変化と異なるターゲットクラスの利用がどう影響するかを検討する。
関連論文リスト
- How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression? [92.90857135952231]
様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。
線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
論文 参考訳（メタデータ） (2023-10-12T15:01:43Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。
幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
論文 参考訳（メタデータ） (2022-08-19T19:42:41Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Robustness Analysis of Classification Using Recurrent Neural Networks
with Perturbed Sequential Input [17.856384200209806]
分類タスクを実行するために訓練された安定したリカレントニューラルネットワーク(RNN)に対して、トレーニング可能な重み行列の関数として明示的境界を定量化する。
分類タスクの完全精度を保証しつつ、許容可能な最大摂動を徹底的に分析し、特徴付ける。
論文 参考訳（メタデータ） (2022-03-10T14:57:40Z) - Path classification by stochastic linear recurrent neural networks [2.5499055723658097]
トレーニングや分類作業に利用されるユニークな情報として,RNNが供給される経路の部分的なシグネチャを保持することを示す。
これらのRNNは訓練が容易で堅牢であり、これらの観測を合成データと実データの両方で数値実験で裏付けるものである、と我々は主張する。
論文 参考訳（メタデータ） (2021-08-06T12:59:12Z) - Implicit Bias of Linear RNNs [27.41989861342218]
リニアリカレントニューラルネットワーク(RNN)は、長期記憶を必要とするタスクではうまく機能しない。
本稿では,線形RNNの特殊な場合において,この性質を厳密に説明する。
近年開発されたカーネル構造解析を用いて,線形RNNは特定の重み付き1次元畳み込みネットワークと機能的に等価であることを示す。
論文 参考訳（メタデータ） (2021-01-19T19:39:28Z) - Multi-Sample Online Learning for Probabilistic Spiking Neural Networks [43.8805663900608]
スパイキングニューラルネットワーク(SNN)は、推論と学習のための生物学的脳の効率の一部をキャプチャする。
本稿では,一般化予測最大化(GEM)に基づくオンライン学習ルールを提案する。
標準ニューロモルフィックデータセットにおける構造化された出力記憶と分類実験の結果,ログの類似性,精度,キャリブレーションの点で大きな改善が見られた。
論文 参考訳（メタデータ） (2020-07-23T10:03:58Z) - Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。
RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重
そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文 参考訳（メタデータ） (2020-06-22T10:05:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。