論文の概要: Continual Learning of Multi-modal Dynamics with External Memory

• arxiv url: http://arxiv.org/abs/2203.00936v1
• Date: Wed, 2 Mar 2022 08:36:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-04 02:39:16.348759
• Title: Continual Learning of Multi-modal Dynamics with External Memory
• Title（参考訳）: 外部記憶を用いたマルチモーダルダイナミクスの連続学習
• Authors: Abdullah Akg\"ul, Gozde Unal, Melih Kandemir
• Abstract要約: そこで本研究では,新しい動作モードが順次出現した場合に,モデルが動的環境に適合する問題について検討する。 学習モデルは、いつ新しいモードが現れるかを認識するが、個々のトレーニングシーケンスの真のモードにアクセスできない。 我々は,ニューラル・エピソード記憶において,遭遇したシーケンスのモードの記述子を保持する新しい連続学習法を考案した。
• 参考スコア（独自算出の注目度）: 11.429507758284743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of fitting a model to a dynamical environment when new modes of behavior emerge sequentially. The learning model is aware when a new mode appears, but it does not have access to the true modes of individual training sequences. We devise a novel continual learning method that maintains a descriptor of the mode of an encountered sequence in a neural episodic memory. We employ a Dirichlet Process prior on the attention weights of the memory to foster efficient storage of the mode descriptors. Our method performs continual learning by transferring knowledge across tasks by retrieving the descriptors of similar modes of past tasks to the mode of a current sequence and feeding this descriptor into its transition kernel as control input. We observe the continual learning performance of our method to compare favorably to the mainstream parameter transfer approach.
• Abstract（参考訳）: 本研究では,新しい動作モードが順次出現した場合に,モデルが動的環境に適合する問題について検討する。 学習モデルは、新しいモードが現れることを認識しているが、個々のトレーニングシーケンスの真のモードにアクセスできない。 我々は,ニューラル・エピソード記憶において,遭遇したシーケンスのモードの記述子を保持する新しい連続学習法を考案した。 我々はメモリの重み付けに先立ってディリクレプロセスを採用し、モード記述子の効率的な保存を促進する。 本手法は,過去のタスクの類似モードの記述子を現在のシーケンスのモードに検索し,その記述子を制御入力として遷移カーネルに入力することにより,タスク間での知識の伝達を継続学習する。 本稿では,本手法の連続学習性能をメインストリームパラメータ転送手法と比較する。

関連論文リスト

• Temporal Graph Memory Networks For Knowledge Tracing [0.40964539027092906]
  本稿では,深部時間グラフメモリネットワークを用いて,知識状態の関連性と時間的ダイナミクスを協調的にモデル化する手法を提案する。 また,グラフメモリモジュール上の時間減衰制約を用いて,学生の忘れ行動を表現する汎用手法を提案する。
  論文  参考訳（メタデータ） (2024-09-23T07:47:02Z)
• ReconBoost: Boosting Can Achieve Modality Reconcilement [89.4377895465204]
  我々は、調和を達成するために、モダリティ代替学習パラダイムについて研究する。 固定モードを毎回更新するReconBoostと呼ばれる新しい手法を提案する。 提案手法はFriedman's Gradient-Boosting (GB) アルゴリズムに似ており,更新された学習者が他者による誤りを訂正できることを示す。
  論文  参考訳（メタデータ） (2024-05-15T13:22:39Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• PIVOT: Prompting for Video Continual Learning [50.80141083993668]
  PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。 実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
  論文  参考訳（メタデータ） (2022-12-09T13:22:27Z)
• Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
  教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。 我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。 我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
  論文  参考訳（メタデータ） (2022-07-20T07:26:15Z)
• Continual Prompt Tuning for Dialog State Tracking [58.66412648276873]
  望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学ぶことができるべきである。 本稿では,タスク間の知識伝達を可能にするパラメータ効率フレームワークであるContinuous Prompt Tuningを提案する。
  論文  参考訳（メタデータ） (2022-03-13T13:22:41Z)
• Learning to Prompt for Continual Learning [34.609384246149325]
  本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。 本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。 目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
  論文  参考訳（メタデータ） (2021-12-16T06:17:07Z)
• ModeRNN: Harnessing Spatiotemporal Mode Collapse in Unsupervised Predictive Learning [75.2748374360642]
  そこで本研究では,繰り返し状態間の隠れ構造表現を学習するための新しい手法であるModeRNNを提案する。 データセット全体にわたって、異なるモードがスロットの混合に対して異なるレスポンスをもたらすため、ModeRNNが構造化された表現を構築する能力が向上する。
  論文  参考訳（メタデータ） (2021-10-08T03:47:54Z)
• Self-learning sparse PCA for multimode process monitoring [2.8102838347038617]
  本稿では,逐次モードの自己学習能力を有するスパース主成分分析アルゴリズムを提案する。 従来のマルチモードモニタリング方法とは異なり、モニタリングモデルは現在のモデルと新しいモードが到着したときに新しいデータに基づいて更新される。
  論文  参考訳（メタデータ） (2021-08-07T13:50:16Z)
• Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning [4.2903672492917755]
  我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。 一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-16T07:41:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。