論文の概要: Variational Adaptive Noise and Dropout towards Stable Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2506.01350v1
• Date: Mon, 02 Jun 2025 06:13:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.280176
• Title: Variational Adaptive Noise and Dropout towards Stable Recurrent Neural Networks
• Title（参考訳）: 安定リカレントニューラルネットワークへの可変適応雑音とドロップアウト
• Authors: Taisuke Kobayashi, Shingo Murata,
• Abstract要約: 本稿では、リカレントニューラルネットワーク(RNN)のための新しい安定学習理論を提案する。 明示的な正規化項を暗黙的な正規化に変換することで、ノイズとドロップアウトを同時に引き出すことができることを示す。 また、RNNの主目的を最適化するために、それぞれのスケールと比率を適切に調整することもできる。
• 参考スコア（独自算出の注目度）: 6.454374656250522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a novel stable learning theory for recurrent neural networks (RNNs), so-called variational adaptive noise and dropout (VAND). As stabilizing factors for RNNs, noise and dropout on the internal state of RNNs have been separately confirmed in previous studies. We reinterpret the optimization problem of RNNs as variational inference, showing that noise and dropout can be derived simultaneously by transforming the explicit regularization term arising in the optimization problem into implicit regularization. Their scale and ratio can also be adjusted appropriately to optimize the main objective of RNNs, respectively. In an imitation learning scenario with a mobile manipulator, only VAND is able to imitate sequential and periodic behaviors as instructed. https://youtu.be/UOho3Xr6A2w
• Abstract（参考訳）: 本稿では、リカレントニューラルネットワーク(RNN)のための新しい安定学習理論、いわゆる変分適応雑音とドロップアウト(VAND)を提案する。 RNNの安定化要因として、RNNの内部状態に対するノイズとドロップアウトが従来研究で別々に確認されている。 我々は、RNNの最適化問題を変分推論として再解釈し、最適化問題で生じる明示的な正規化項を暗黙の正規化に変換することにより、ノイズとドロップアウトを同時に引き出すことができることを示す。 また、RNNの主目的を最適化するために、それぞれのスケールと比率を適切に調整することもできる。 移動マニピュレータを用いた模倣学習のシナリオでは、VANDだけが指示された逐次的かつ周期的な動作を模倣することができる。 https://youtu.be/UOho3Xr6A2w

関連論文リスト

• High-performance deep spiking neural networks with 0.3 spikes per neuron [9.01407445068455]
  バイオインスパイアされたスパイクニューラルネットワーク(SNN)を人工ニューラルネットワーク(ANN)より訓練することは困難である 深部SNNモデルのトレーニングは,ANNと全く同じ性能が得られることを示す。 我々のSNNは1ニューロンあたり0.3スパイク以下で高性能な分類を行い、エネルギー効率の良い実装に役立てる。
  論文  参考訳（メタデータ） (2023-06-14T21:01:35Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Adaptive-saturated RNN: Remember more with less instability [2.191505742658975]
  本研究では,2つのアプローチ間の飽和度を動的に調整する適応飽和RNN(asRNN)を提案する。 我々の実験は、いくつかの強力な競合相手と比較して、挑戦的なシーケンス学習ベンチマークにおけるasRNNの結果を奨励することを示した。
  論文  参考訳（メタデータ） (2023-04-24T02:28:03Z)
• Noise Injection Node Regularization for Robust Learning [0.0]
  ノイズインジェクションノード規則化(NINR)は、トレーニング期間中に、構造化されたノイズをディープニューラルネットワーク(DNN)に注入する手法である。 本研究は、NINRの下で訓練されたフィードフォワードDNNに対する各種試験データ摂動に対するロバスト性を大幅に改善する理論的および実証的な証拠を示す。
  論文  参考訳（メタデータ） (2022-10-27T20:51:15Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• Variational Inference-Based Dropout in Recurrent Neural Networks for Slot Filling in Spoken Language Understanding [9.93926378136064]
  本稿では,変動型リカレントニューラルネットワーク(RNN)を,変動型推論(VI)に基づくドロップアウト正規化で一般化する。 ATISデータセットの実験から、VIベースのドロップアウト正規化による変動RNNは、素早いドロップアウト正規化RNNベースのベースラインシステムを大幅に改善する可能性が示唆された。
  論文  参考訳（メタデータ） (2020-08-23T22:05:54Z)
• Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions [121.10450359856242]
  リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。 RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。 a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
  論文  参考訳（メタデータ） (2020-06-20T22:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。