論文の概要: Can Local Representation Alignment RNNs Solve Temporal Tasks?

• arxiv url: http://arxiv.org/abs/2504.13531v1
• Date: Fri, 18 Apr 2025 07:48:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 16:50:02.70845
• Title: Can Local Representation Alignment RNNs Solve Temporal Tasks?
• Title（参考訳）: 局所表現アライメントRNNは時間課題を解決できるか?
• Authors: Nikolay Manchev, Luis C. Garcia-Peraza-Herrera,
• Abstract要約: リカレントニューラルネットワーク(RNN)は、リアルタイム処理、ストリーミングデータ、トレーニングサンプルの量を制限するケースに一般的に使用される。 BPTTはRNNを訓練するための主要なアルゴリズムであるが、爆発し、勾配が消えやすいとしばしば批判されている。 本稿では,ローカル更新を用いて,その不安定性を低減しようとするRNNに対して,ターゲット伝搬に基づく手法を提示し,評価する。
• 参考スコア（独自算出の注目度）: 1.1085024199293136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent Neural Networks (RNNs) are commonly used for real-time processing, streaming data, and cases where the amount of training samples is limited. Backpropagation Through Time (BPTT) is the predominant algorithm for training RNNs; however, it is frequently criticized for being prone to exploding and vanishing gradients and being biologically implausible. In this paper, we present and evaluate a target propagation-based method for RNNs, which uses local updates and seeks to reduce the said instabilities. Having stable RNN models increases their practical use in a wide range of fields such as natural language processing, time-series forecasting, anomaly detection, control systems, and robotics. The proposed solution uses local representation alignment (LRA). We thoroughly analyze the performance of this method, experiment with normalization and different local error functions, and invalidate certain assumptions about the behavior of this type of learning. Namely, we demonstrate that despite the decomposition of the network into sub-graphs, the model still suffers from vanishing gradients. We also show that gradient clipping as proposed in LRA has little to no effect on network performance. This results in an LRA RNN model that is very difficult to train due to vanishing gradients. We address this by introducing gradient regularization in the direction of the update and demonstrate that this modification promotes gradient flow and meaningfully impacts convergence. We compare and discuss the performance of the algorithm, and we show that the regularized LRA RNN considerably outperforms the unregularized version on three landmark tasks: temporal order, 3-bit temporal order, and random permutation.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は、リアルタイム処理、ストリーミングデータ、トレーニングサンプルの量を制限するケースに一般的に使用される。 時間によるバックプロパゲーション(BPTT)は、RNNを訓練するための主要なアルゴリズムである。 本稿では,ローカル更新を用いて,その不安定性を低減しようとするRNNに対して,ターゲット伝搬に基づく手法を提案し,評価する。 安定したRNNモデルを持つことは、自然言語処理、時系列予測、異常検出、制御システム、ロボット工学など、幅広い分野における実用性を高める。 提案手法は局所的表現アライメント(LRA)を用いる。 我々は,本手法の性能を徹底的に解析し,正規化と異なる局所誤差関数を実験し,このタイプの学習の振る舞いに関する特定の仮定を無効化する。 すなわち、ネットワークがサブグラフに分解されているにもかかわらず、モデルはいまだに消失する勾配に悩まされていることを実証する。 また,LRAで提案した勾配クリッピングはネットワーク性能にはほとんど影響しないことを示した。 その結果、LRA RNNモデルは、勾配の消失により訓練が極めて困難である。 更新方向の勾配正則化を導入することでこの問題に対処し、この修正によって勾配流が促進され、収束に有意な影響を及ぼすことを示す。 アルゴリズムの性能を比較検討し、正規化されたLRA RNNは、時間順、3ビット時間順、ランダム順の3つの目印課題において、非正規化バージョンをかなり上回っていることを示す。

関連論文リスト

• Fast Training of Recurrent Neural Networks with Stationary State Feedbacks [48.22082789438538]
  リカレントニューラルネットワーク(RNN)は最近、Transformerよりも強力なパフォーマンスと高速な推論を実証している。 BPTTを固定勾配フィードバック機構で置き換える新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-03-29T14:45:52Z)
• Use of Parallel Explanatory Models to Enhance Transparency of Neural Network Configurations for Cell Degradation Detection [18.214293024118145]
  我々は,ニューラルネットワークの内部動作を照らし,理解するための並列モデルを構築している。 RNNの各層が入力分布を変換して検出精度を高める方法を示す。 同時に、精度の向上を制限するために作用する副作用も発見する。
  論文  参考訳（メタデータ） (2024-04-17T12:22:54Z)
• Time-Parameterized Convolutional Neural Networks for Irregularly Sampled Time Series [26.77596449192451]
  不規則にサンプリングされた時系列は、いくつかのアプリケーション領域でユビキタスであり、スパースであり、完全に観測されていない、非整合的な観察に繋がる。 標準シーケンシャルニューラルネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)は、観測時間間の定期的な間隔を考慮し、不規則な時系列モデリングに重大な課題を提起する。 時間的に不規則なカーネルを用いて畳み込み層をパラメータ化する。
  論文  参考訳（メタデータ） (2023-08-06T21:10:30Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• Task-Synchronized Recurrent Neural Networks [0.0]
  リカレントニューラルネットワーク(RNN)は、伝統的に事実を無視し、時間差を追加入力として与えたり、データを再サンプリングしたりする。 我々は、データやタスクの時間と一致するように、RNNを効果的に再サンプリングするエレガントな代替手法を提案する。 我々は、我々のモデルがデータの時間的非均一性を効果的に補償できることを実証的に確認し、データ再サンプリングや古典的RNN手法、代替的なRNNモデルと比較することを実証した。
  論文  参考訳（メタデータ） (2022-04-11T15:27:40Z)
• Navigating Local Minima in Quantized Spiking Neural Networks [3.1351527202068445]
  深層学習(DL)アルゴリズムの超効率的な実装においては,スパイキングと量子ニューラルネットワーク(NN)が極めて重要になっている。 これらのネットワークは、ハードしきい値を適用する際の勾配信号の欠如により、エラーのバックプロパゲーションを使用してトレーニングする際の課題に直面している。 本稿では,コサインアニールLRスケジュールと重み非依存適応モーメント推定を併用したシステム評価を行った。
  論文  参考訳（メタデータ） (2022-02-15T06:42:25Z)
• Recurrent Neural Networks for Learning Long-term Temporal Dependencies with Reanalysis of Time Scale Representation [16.32068729107421]
  時間的表現としての忘れ門の解釈は、状態に対する損失の勾配が時間とともに指数関数的に減少するときに有効であると主張する。 本稿では,従来のモデルよりも長い時間スケールを表現できる新しいRNNの構築手法を提案する。
  論文  参考訳（メタデータ） (2021-11-05T06:22:58Z)
• Space-Time Graph Neural Networks [104.55175325870195]
  本研究では、時空間グラフニューラルネットワーク(ST-GNN)を導入し、時間変動ネットワークデータの時空間トポロジを共同処理する。 解析の結果,システムのネットワークトポロジと時間進化の変動はST-GNNの性能に大きく影響しないことがわかった。
  論文  参考訳（メタデータ） (2021-10-06T16:08:44Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。