論文の概要: Minion Gated Recurrent Unit for Continual Learning

• arxiv url: http://arxiv.org/abs/2503.06175v1
• Date: Sat, 08 Mar 2025 11:28:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:51:30.169680
• Title: Minion Gated Recurrent Unit for Continual Learning
• Title（参考訳）: 連続学習のためのマイニオンゲーテッド・リカレントユニット
• Authors: Abdullah M. Zyarah, Dhireesha Kudithipudi,
• Abstract要約: ミニオンリカレントユニット(MiRU)は、ゲートリカレントユニット(GRU)の新しい変種である。 MiRUは従来のゲーティング機構をスケーリング係数に置き換えて、隠れ状態と履歴コンテキストの動的更新を制御する。 マルチタスク学習におけるMIRUは,標準GRUとその変種とは異なり,リハーサルのみを用いても安定した性能を示す。
• 参考スコア（独自算出の注目度）: 2.6473021051027534
• License:
• Abstract: The increasing demand for continual learning in sequential data processing has led to progressively complex training methodologies and larger recurrent network architectures. Consequently, this has widened the knowledge gap between continual learning with recurrent neural networks (RNNs) and their ability to operate on devices with limited memory and compute. To address this challenge, we investigate the effectiveness of simplifying RNN architectures, particularly gated recurrent unit (GRU), and its impact on both single-task and multitask sequential learning. We propose a new variant of GRU, namely the minion recurrent unit (MiRU). MiRU replaces conventional gating mechanisms with scaling coefficients to regulate dynamic updates of hidden states and historical context, reducing computational costs and memory requirements. Despite its simplified architecture, MiRU maintains performance comparable to the standard GRU while achieving 2.90x faster training and reducing parameter usage by 2.88x, as demonstrated through evaluations on sequential image classification and natural language processing benchmarks. The impact of model simplification on its learning capacity is also investigated by performing continual learning tasks with a rehearsal-based strategy and global inhibition. We find that MiRU demonstrates stable performance in multitask learning even when using only rehearsal, unlike the standard GRU and its variants. These features position MiRU as a promising candidate for edge-device applications.
• Abstract（参考訳）: 逐次データ処理における連続学習の需要の増加は、徐々に複雑なトレーニング手法とより大規模なネットワークアーキテクチャへと繋がった。 これにより、連続学習とリカレントニューラルネットワーク(RNN)との知識ギャップが拡大し、メモリと計算能力に制限のあるデバイス上での運用が可能になった。 この課題に対処するために、RNNアーキテクチャ、特にゲート型リカレントユニット(GRU)の簡素化の有効性と、それがシングルタスクおよびマルチタスクシーケンシャル学習に与える影響について検討する。 ミニオンリカレントユニット(MIRU)と呼ばれるGRUの新しい変種を提案する。 MiRUは従来のゲーティング機構をスケーリング係数に置き換え、隠れ状態と履歴コンテキストの動的更新を規制し、計算コストとメモリ要求を削減した。 単純化されたアーキテクチャにもかかわらず、MiRUは標準的なGRUに匹敵する性能を維持しつつ、2.90倍高速なトレーニングとパラメータ使用率の2.88倍の削減を実現している。 モデル単純化が学習能力に与える影響についても,リハーサルベースの戦略とグローバルな抑制によって連続的な学習タスクを実行することで検討した。 マルチタスク学習におけるMIRUは,標準のGRUとその変種とは異なり,リハーサルのみを用いても安定した性能を示す。 これらの機能は、MiRUをエッジデバイスアプリケーションの候補として位置づけている。

関連論文リスト

• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• Exact, Tractable Gauss-Newton Optimization in Deep Reversible Architectures Reveal Poor Generalization [52.16435732772263]
  多くのアプリケーションにおいて、ディープニューラルネットワークのトレーニングを加速する2階最適化が示されている。 しかし、二階法の一般化特性についてはいまだ議論が続いている。 我々は、Gauss-Newton (GN) の正確な更新が、ディープアーキテクチャのクラスにおいて、牽引可能な形式を取ることを初めて示す。
  論文  参考訳（メタデータ） (2024-11-12T17:58:40Z)
• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Stabilising and accelerating light gated recurrent units for automatic speech recognition [14.06965803750859]
  光ゲートリカレントユニット(Li-GRU)は自動音声認識(ASR)タスクにおいて印象的な結果が得られることで有名である。 本稿では,その安定性と,トレーニング時間の5倍のスピードアップを実現するための工学的メカニズムを理論的,実証的に導出する。 我々は,新たに獲得した能力を示す玩具タスクと,単語誤り率の低下を示す3種類のASRデータセットを用いて,その性能を評価する。
  論文  参考訳（メタデータ） (2023-02-16T16:18:58Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• EGRU: Event-based GRU for activity-sparse inference and learning [0.8260432715157026]
  本稿では,GRU(Gated Recurrent Units)をイベントベースアクティビティスパースモデルとして再構成するモデルを提案する。 イベントベースGRU(EGRU)は,実世界のタスクにおける最先端のリカレントネットワークモデルと比較して,競合性能を示す。
  論文  参考訳（メタデータ） (2022-06-13T14:07:56Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Learning Centric Wireless Resource Allocation for Edge Computing: Algorithm and Experiment [15.577056429740951]
  Edge Intelligenceは、センサー、通信、コンピューティングコンポーネントを統合し、さまざまな機械学習アプリケーションをサポートする、新興ネットワークアーキテクチャである。 既存の方法は2つの重要な事実を無視している: 1) 異なるモデルがトレーニングデータに不均一な要求を持っている; 2) シミュレーション環境と実環境との間にはミスマッチがある。 本稿では,複数のタスクの最悪の学習性能を最大化する学習中心の無線リソース割り当て方式を提案する。
  論文  参考訳（メタデータ） (2020-10-29T06:20:40Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)
• SiTGRU: Single-Tunnelled Gated Recurrent Unit for Abnormality Detection [29.500392184282518]
  異常検出のための単一トンネルGRU(Single Tunnelled GRU)と呼ばれるGRU(Gated Recurrent Unit)の新規バージョンを提案する。 提案手法は,標準GRUとLong Short Term Memory(LSTM)ネットワークを,検出および一般化タスクのほとんどの指標で上回っている。
  論文  参考訳（メタデータ） (2020-03-30T14:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。