論文の概要: The RNN Homunculus: Learning to Gate Long-Term Memory

• arxiv url: http://arxiv.org/abs/2610.14279v1
• Date: Fri, 09 Oct 2026 19:59:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.029017
• Title: The RNN Homunculus: Learning to Gate Long-Term Memory
• Title（参考訳）: RNN Homunculus: 長期記憶をゲートする学習
• Abstract要約: ゲーテッドリカレントニューラルネットワーク(RNN)は、時間を通して付加的なコピーパスを作成することによって、消滅する勾配問題に対処する。 我々はこのゲート学習問題を、注意深く制御されたシーケンス分類タスクを通して研究する。 この結果から,長期記憶学習の中心としてゲート学習が注目され,学習データがこのプロセスをどのようにサポートするかが示される。
• 参考スコア（独自算出の注目度）: 51.540646911798206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning long-range dependencies with recurrent neural networks (RNNs) is difficult because of the vanishing gradient problem. Gated recurrent neural networks like GRUs and LSTMs address this problem and are commonly explained by their ability to create additive copy paths through time. This explanation is correct, but incomplete: useful RNN gate values must themselves be learned, which is typically done with another RNN. We study this gate-learning problem through carefully controlled sequence classification tasks. Our analysis shows that gated architectures struggle when all training samples require long-range memory and thus equally suffer from the vanishing gradient problem. We intervene by adding short-dependency samples which let gated models learn solutions that capture long-dependency samples, but also generalize across different class labels. When properly learned, gated RNNs match or even exceed the test accuracy of modern architectures like Mamba and xLSTM. Overall, our results highlight gate learning as a central part of learning long-range memory and show how training data can support this process by exposing the same task over shorter dependencies.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)による長距離依存関係の学習は,勾配問題により困難である。 GRUやLSTMのような拡張されたリカレントニューラルネットワークはこの問題に対処し、時間を通して付加的なコピーパスを生成する能力によって一般的に説明される。 この説明は正しいが不完全である: 有用なRNNゲートの値は学習されなければならない。 我々はこのゲート学習問題を、注意深く制御されたシーケンス分類タスクを通して研究する。 我々の分析によると、全てのトレーニングサンプルが長距離メモリを必要とする場合、ゲートアーキテクチャは困難であり、従って消滅する勾配問題に等しく苦しむ。 我々は、長い依存性のサンプルをキャプチャするソリューションをゲートモデルで学習できる短依存性のサンプルを追加することで介入するが、同時に異なるクラスラベルをまたいで一般化する。 適切に学習すると、ゲートRNNはMambaやxLSTMのようなモダンアーキテクチャのテスト精度にマッチする。 以上の結果から,ゲート学習が長期記憶の学習の中心であり,より短い依存関係よりも同じタスクを露呈することで,トレーニングデータがこのプロセスをどのようにサポートするかを示す。

関連論文リスト

• NN-Former: Rethinking Graph Structure in Neural Architecture Representation [67.3378579108611]
  グラフニューラルネットワーク(GNN)とトランスフォーマーは、ニューラルネットワークを表現する上で有望なパフォーマンスを示している。 これまでの研究で見過ごされている間、兄弟ノードは中心的であることを示す。 我々のアプローチは、精度と遅延予測の両方において、常に有望な性能を達成する。
  論文  参考訳（メタデータ） (2025-07-01T15:46:18Z)
• Recurrent neural networks: vanishing and exploding gradients are not the end of the story [13.429440202738647]
  リカレントニューラルネットワーク(RNN)は長期記憶の学習に苦慮している。 状態空間モデル(SSM)の最近の成功は、我々の理論的理解を困難にしている。
  論文  参考訳（メタデータ） (2024-05-31T17:53:00Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• UnICORNN: A recurrent model for learning very long time dependencies [0.0]
  2次常微分方程式のハミルトン系の離散性を保つ構造に基づく新しいRNNアーキテクチャを提案する。 結果として得られるrnnは高速で可逆(時間)で、メモリ効率が良く、隠れた状態勾配の厳密な境界を導出して、爆発と消滅の勾配問題の緩和を証明する。
  論文  参考訳（メタデータ） (2021-03-09T15:19:59Z)
• Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
  ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。 しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。 本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
  論文  参考訳（メタデータ） (2020-07-01T04:48:49Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• Learning Long-Term Dependencies in Irregularly-Sampled Time Series [16.762335749650717]
  連続時間隠れ状態を持つリカレントニューラルネットワーク(RNN)は、不規則サンプリング時系列のモデリングに自然に適合する。 我々は、標準のRNNと同様、この問題の根底にある理由は、トレーニング中に勾配が消滅または爆発することにあることを証明している。 我々は,その時間連続状態からメモリを分離する長寿命メモリ(LSTM)に基づく新しいアルゴリズムを設計することで,その解を提供する。
  論文  参考訳（メタデータ） (2020-06-08T08:46:58Z)
• Learning Various Length Dependence by Dual Recurrent Neural Networks [0.0]
  デュアルリカレントニューラルネットワーク(DuRNN)という新しいモデルを提案する。 DuRNNは短期依存を学習し、長期依存を徐々に学習する2つの部分から構成される。 コントリビューションは,1)長期的・短期的依存を個別に学習するための分割・並行的戦略に基づく新たな再帰モデル,2)異なる時間的依存尺度の分離・学習を促進するための選択メカニズムである。
  論文  参考訳（メタデータ） (2020-05-28T09:30:01Z)
• Achieving Online Regression Performance of LSTMs with Simple RNNs [0.0]
  本稿では,パラメータ数に線形時間を要する1次学習アルゴリズムを提案する。 SRNNが我々のアルゴリズムでトレーニングされている場合、LSTMと非常によく似た回帰性能を2～3倍の短いトレーニング時間で提供することを示す。
  論文  参考訳（メタデータ） (2020-05-16T11:41:13Z)
• Recognizing Long Grammatical Sequences Using Recurrent Networks Augmented With An External Differentiable Stack [73.48927855855219]
  リカレントニューラルネットワーク(RNN)は、シーケンスモデリング、生成、予測に広く使われているディープアーキテクチャである。 RNNは、非常に長いシーケンスに対してあまり一般化せず、多くの重要な時間的処理や時系列予測問題に適用性を制限する。 これらの欠点に対処する方法の1つは、スタックのような外部の異なるメモリ構造とRNNを結合することである。 本稿では,重要なアーキテクチャと状態更新機構を備えたメモリ拡張RNNを改良する。
  論文  参考訳（メタデータ） (2020-04-04T14:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。