論文の概要: Empirical Analysis of the Inductive Bias of Recurrent Neural Networks by
Discrete Fourier Transform of Output Sequences
- arxiv url: http://arxiv.org/abs/2305.09178v1
- Date: Tue, 16 May 2023 05:30:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-17 16:13:00.429861
- Title: Empirical Analysis of the Inductive Bias of Recurrent Neural Networks by
Discrete Fourier Transform of Output Sequences
- Title（参考訳）: 出力列の離散フーリエ変換によるリカレントニューラルネットワークの帰納バイアスの実験的解析
- Authors: Taiga Ishii, Ryo Ueda, Yusuke Miyao
- Abstract要約: 本研究の目的は、リカレントニューラルネットワーク(RNN)の固有一般化特性、すなわち帰納バイアスを明らかにすることである。
実験の結果,Long Short-Term Memory (LSTM) とGated Recurrent Unit (GRU) は低周波パターンに対する誘導バイアスを有することがわかった。
また,LSTMとGRUの誘導バイアスは,層数や層の大きさによって異なることがわかった。
- 参考スコア（独自算出の注目度）: 7.279215553861787
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A unique feature of Recurrent Neural Networks (RNNs) is that it incrementally
processes input sequences. In this research, we aim to uncover the inherent
generalization properties, i.e., inductive bias, of RNNs with respect to how
frequently RNNs switch the outputs through time steps in the sequence
classification task, which we call output sequence frequency. Previous work
analyzed inductive bias by training models with a few synthetic data and
comparing the model's generalization with candidate generalization patterns.
However, when examining the output sequence frequency, previous methods cannot
be directly applied since enumerating candidate patterns is computationally
difficult for longer sequences. To this end, we propose to directly calculate
the output sequence frequency for each model by regarding the outputs of the
model as discrete-time signals and applying frequency domain analysis.
Experimental results showed that Long Short-Term Memory (LSTM) and Gated
Recurrent Unit (GRU) have an inductive bias towards lower-frequency patterns,
while Elman RNN tends to learn patterns in which the output changes at high
frequencies. We also found that the inductive bias of LSTM and GRU varies with
the number of layers and the size of hidden layers.
- Abstract（参考訳）: リカレントニューラルネットワーク(RNN)のユニークな特徴は、入力シーケンスを漸進的に処理することだ。
本研究では,RNNの帰納的な一般化特性,すなわち帰納的バイアスを明らかにすることを目的として,RNNがシーケンス分類タスクの時間ステップを通して出力を切り替える頻度について検討する。
従来の研究は、数個の合成データを用いたトレーニングモデルによる帰納バイアスを分析し、モデルの一般化と候補一般化パターンを比較した。
しかし、出力シーケンス周波数を調べる場合、候補パターンの列挙は長いシーケンスでは計算が難しいため、従来の手法は直接適用できない。
そこで本研究では,モデルの出力を離散時間信号として考慮し,周波数領域解析を適用することにより,各モデルの出力シーケンス周波数を直接計算する。
実験の結果,Long Short-Term Memory (LSTM) と Gated Recurrent Unit (GRU) は低周波パターンに対して誘導バイアスを示し,Elman RNN は高周波で出力が変化するパターンを学習する傾向を示した。
また,LSTMとGRUの誘導バイアスは,層数や層の大きさによって異なることがわかった。
関連論文リスト
- Generalization of Graph Neural Networks is Robust to Model Mismatch [84.01980526069075]
グラフニューラルネットワーク(GNN)は、その一般化能力によってサポートされている様々なタスクにおいて、その効果を実証している。
本稿では,多様体モデルから生成される幾何グラフで動作するGNNについて検討する。
本稿では,そのようなモデルミスマッチの存在下でのGNN一般化の堅牢性を明らかにする。
論文 参考訳（メタデータ） (2024-08-25T16:00:44Z) - Inference of Sequential Patterns for Neural Message Passing in Temporal Graphs [0.6562256987706128]
HYPA-DBGNNは、グラフ上の時系列データにおける異常なシーケンシャルパターンの推論を組み合わせた、新しい2段階のアプローチである。
本手法は超幾何グラフアンサンブルを利用して1階グラフと高階グラフの両方において異常なエッジを同定する。
我々の研究は、時間的および因果配列異常を利用した統計的に情報を得たGNNを初めて導入した。
論文 参考訳（メタデータ） (2024-06-24T11:41:12Z) - Hierarchically Gated Recurrent Neural Network for Sequence Modeling [36.14544998133578]
階層的Gated Recurrent Neural Network (HGRN) と呼ばれるゲート線形RNNモデルを提案する。
言語モデリング,画像分類,長距離アリーナベンチマーク実験は,提案モデルの有効性と有効性を示す。
論文 参考訳（メタデータ） (2023-11-08T16:50:05Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Continuous Depth Recurrent Neural Differential Equations [0.0]
RNNモデルを一般化するための連続深さ再帰型ニューラル微分方程式(CDR-NDE)を提案する。
CDR-NDEはこれらの次元のそれぞれに2つの異なる微分方程式を考慮し、時間方向と深さ方向の進化をモデル化する。
また,隠蔽状態の計算を時間経過に伴う熱方程式の解法として扱う偏微分方程式に基づくCDR-NDE熱モデルを提案する。
論文 参考訳（メタデータ） (2022-12-28T06:34:32Z) - Modeling Irregular Time Series with Continuous Recurrent Units [3.7335080869292483]
観測時間間の不規則な時間間隔を処理するために,連続的再帰単位(CRU)を提案する。
我々はCRUがニューラル常微分方程式(neural ODE)に基づくモデルよりも不規則時系列を補間できることを示した。
また,本モデルでは,インエイジからダイナミックスを推測し,Kalmanの取得により,ノイズの多い観測結果から,有効な状態更新候補を効率よく抽出できることも示している。
論文 参考訳（メタデータ） (2021-11-22T16:49:15Z) - Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。
そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
論文 参考訳（メタデータ） (2021-06-03T09:34:17Z) - Consistency of mechanistic causal discovery in continuous-time using
Neural ODEs [85.7910042199734]
ダイナミカルシステムの研究において,連続時間における因果的発見を検討する。
本稿では,ニューラルネットワークを用いた因果探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-05-06T08:48:02Z) - On the exact computation of linear frequency principle dynamics and its
generalization [6.380166265263755]
近年の研究では、トレーニング中にターゲット関数を低周波数から高周波数に適合させる周波数原理(F-Principle)の興味深い現象が示されている。
本稿では、周波数領域におけるNN出力関数の進化を制御し、線形周波数原理(LFP)モデルという正確な微分方程式を導出する。
論文 参考訳（メタデータ） (2020-10-15T15:17:21Z) - Graph Gamma Process Generalized Linear Dynamical Systems [60.467040479276704]
実マルチ変数時系列をモデル化するために,グラフガンマ過程(GGP)線形力学系を導入する。
時間的パターン発見のために、モデルの下での潜在表現は、時系列を多変量部分列の同相集合に分解するために使用される。
非零次ノード数が有限であるランダムグラフを用いて、潜時状態遷移行列の空間パターンと次元の両方を定義する。
論文 参考訳（メタデータ） (2020-07-25T04:16:34Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。