論文の概要: Continual Learning of Multi-modal Dynamics with External Memory

• arxiv url: http://arxiv.org/abs/2203.00936v4
• Date: Thu, 9 May 2024 10:47:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 18:44:57.917654
• Title: Continual Learning of Multi-modal Dynamics with External Memory
• Title（参考訳）: 外部記憶を用いたマルチモーダルダイナミクスの連続学習
• Authors: Abdullah Akgül, Gozde Unal, Melih Kandemir,
• Abstract要約: そこで本研究では,新しい動作モードが順次出現した場合に,モデルが動的環境に適合する問題について検討する。 学習モデルは、いつ新しいモードが現れるかを認識するが、個々のトレーニングシーケンスの真のモードにアクセスすることはできない。 ニューラル・エピソード・メモリにおいて、遭遇したシーケンスのモードのテキスト記述子を維持することにより、両方の制限を克服する新しい連続学習法を考案する。
• 参考スコア（独自算出の注目度）: 11.836472263346636
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of fitting a model to a dynamical environment when new modes of behavior emerge sequentially. The learning model is aware when a new mode appears, but it cannot access the true modes of individual training sequences. The state-of-the-art continual learning approaches cannot handle this setup, because parameter transfer suffers from catastrophic interference and episodic memory design requires the knowledge of the ground-truth modes of sequences. We devise a novel continual learning method that overcomes both limitations by maintaining a \textit{descriptor} of the mode of an encountered sequence in a neural episodic memory. We employ a Dirichlet Process prior on the attention weights of the memory to foster efficient storage of the mode descriptors. Our method performs continual learning by transferring knowledge across tasks by retrieving the descriptors of similar modes of past tasks to the mode of a current sequence and feeding this descriptor into its transition kernel as control input. We observe the continual learning performance of our method to compare favorably to the mainstream parameter transfer approach.
• Abstract（参考訳）: そこで本研究では,新しい動作モードが順次出現した場合に,モデルが動的環境に適合する問題について検討する。 学習モデルは、いつ新しいモードが現れるかを認識するが、個々のトレーニングシーケンスの真のモードにアクセスすることはできない。 パラメータ転送は破滅的な干渉に悩まされ、エピソディックなメモリ設計は、シーケンスの基幹構造に関する知識を必要とするため、最先端の継続的学習アプローチでは、この設定には対応できない。 ニューラルエピソジックメモリにおいて、遭遇したシーケンスのモードの「textit{descriptor}」を維持することによって、両方の制限を克服する新しい連続学習法を考案する。 我々はメモリの重み付けに先立ってディリクレプロセスを採用し、モード記述子の効率的な保存を促進する。 本手法は,過去のタスクの類似モードの記述子を現在のシーケンスのモードに検索し,その記述子を制御入力として遷移カーネルに入力することにより,タスク間での知識の伝達による連続的な学習を行う。 本稿では,本手法の連続学習性能をメインストリームパラメータ転送手法と比較する。

関連論文リスト

• ReconBoost: Boosting Can Achieve Modality Reconcilement [89.4377895465204]
  我々は、調和を達成するために、モダリティ代替学習パラダイムについて研究する。 固定モードを毎回更新するReconBoostと呼ばれる新しい手法を提案する。 提案手法はFriedman's Gradient-Boosting (GB) アルゴリズムに似ており,更新された学習者が他者による誤りを訂正できることを示す。
  論文  参考訳（メタデータ） (2024-05-15T13:22:39Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• PIVOT: Prompting for Video Continual Learning [50.80141083993668]
  PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。 実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
  論文  参考訳（メタデータ） (2022-12-09T13:22:27Z)
• Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
  教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。 我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。 我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
  論文  参考訳（メタデータ） (2022-07-20T07:26:15Z)
• Continual Prompt Tuning for Dialog State Tracking [58.66412648276873]
  望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学ぶことができるべきである。 本稿では,タスク間の知識伝達を可能にするパラメータ効率フレームワークであるContinuous Prompt Tuningを提案する。
  論文  参考訳（メタデータ） (2022-03-13T13:22:41Z)
• Learning to Prompt for Continual Learning [34.609384246149325]
  本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。 本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。 目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
  論文  参考訳（メタデータ） (2021-12-16T06:17:07Z)
• ModeRNN: Harnessing Spatiotemporal Mode Collapse in Unsupervised Predictive Learning [75.2748374360642]
  そこで本研究では,繰り返し状態間の隠れ構造表現を学習するための新しい手法であるModeRNNを提案する。 データセット全体にわたって、異なるモードがスロットの混合に対して異なるレスポンスをもたらすため、ModeRNNが構造化された表現を構築する能力が向上する。
  論文  参考訳（メタデータ） (2021-10-08T03:47:54Z)
• Self-learning sparse PCA for multimode process monitoring [2.8102838347038617]
  本稿では,逐次モードの自己学習能力を有するスパース主成分分析アルゴリズムを提案する。 従来のマルチモードモニタリング方法とは異なり、モニタリングモデルは現在のモデルと新しいモードが到着したときに新しいデータに基づいて更新される。
  論文  参考訳（メタデータ） (2021-08-07T13:50:16Z)
• Learning Invariant Representation for Continual Learning [5.979373021392084]
  継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。 連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。 共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
  論文  参考訳（メタデータ） (2021-01-15T15:12:51Z)
• Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning [4.2903672492917755]
  我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。 一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-16T07:41:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。