論文の概要: Lifelong Learning Process: Self-Memory Supervising and Dynamically Growing Networks

• arxiv url: http://arxiv.org/abs/2004.12731v1
• Date: Mon, 27 Apr 2020 12:00:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 04:37:33.676561
• Title: Lifelong Learning Process: Self-Memory Supervising and Dynamically Growing Networks
• Title（参考訳）: 生涯学習プロセス: 自己記憶監視と動的成長ネットワーク
• Authors: Youcheng Huang and Tangchen Wei and Jundong Zhou and Chunxin Yang
• Abstract要約: 現在の研究者は、トレーニングプロセス全体で同じ構造を維持したニューラルネットワークに、すべてのカテゴリのデータを供給している。 このトレーニングプロセスと人間の学習パターンを比較し、2つの大きな衝突を見つけます。 本研究では,条件付き変分オートエンコーダ(CVAE)モデルに基づく生成モデルにおいて,これらの競合を解決する方法について検討する。
• 参考スコア（独自算出の注目度）: 0.716879432974126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: From childhood to youth, human gradually come to know the world. But for neural networks, this growing process seems difficult. Trapped in catastrophic forgetting, current researchers feed data of all categories to a neural network which remains the same structure in the whole training process. We compare this training process with human learing patterns, and find two major conflicts. In this paper, we study how to solve these conflicts on generative models based on the conditional variational autoencoder(CVAE) model. To solve the uncontinuous conflict, we apply memory playback strategy to maintain the model's recognizing and generating ability on invisible used categories. And we extend the traditional one-way CVAE to a circulatory mode to better accomplish memory playback strategy. To solve the `dead' structure conflict, we rewrite the CVAE formula then are able to make a novel interpretation about the funtions of different parts in CVAE models. Based on the new understanding, we find ways to dynamically extend the network structure when training on new categories. We verify the effectiveness of our methods on MNIST and Fashion MNIST and display some very insteresting results.
• Abstract（参考訳）: 幼少期から青年期にかけて、人間は徐々に世界を知るようになる。 しかし、ニューラルネットワークにとって、この成長過程は困難に思える。 破滅的な忘れ物で追跡された現在の研究者は、すべてのカテゴリのデータをトレーニングプロセス全体で同じ構造であるニューラルネットワークにフィードする。 このトレーニングプロセスと人間の学習パターンを比較し、2つの大きな衝突を見つけます。 本稿では,条件付き変分オートエンコーダ(CVAE)モデルに基づく生成モデルにおけるこれらの競合を解決する方法について検討する。 不連続な競合を解決するため、我々は、見えない使用カテゴリーにおけるモデルの認識と生成能力を維持するためにメモリ再生戦略を適用した。 また,従来の単方向CVAEを循環モードに拡張し,メモリ再生戦略をより良くする。 このような「死」構造衝突を解決するため、CVAE式を書き換え、CVAEモデルの異なる部分の振舞いについて新しい解釈をすることができる。 新たな理解に基づいて,新たなカテゴリのトレーニングを行う際のネットワーク構造を動的に拡張する方法を見出す。 mnist と fashion mnist に対する提案手法の有効性を検証し,非常に謎めいた結果を示す。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。 本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-04T15:47:03Z)
• Adapt & Align: Continual Learning with Generative Models Latent Space Alignment [15.729732755625474]
  本稿では、生成モデルにおける潜在表現を整列させることにより、ニューラルネットワークの連続的な学習方法であるAdapt & Alignを紹介する。 ニューラルネットワークは、追加データで再トレーニングされた場合、突然のパフォーマンスが低下する。 生成モデルを導入し,その更新過程を2つの部分に分割することで,これらの問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-21T10:02:17Z)
• Enhancing Neural Training via a Correlated Dynamics Model [2.9302545029880394]
  相関モード分解(CMD)は、パラメータ空間をグループにクラスタリングし、エポック間の同期動作を表示するアルゴリズムである。 トレーニングと同時に動作するように設計された効率的なCMDバリアントを導入する。 実験の結果,CMD は画像分類のコンパクトなモデル化のための最先端手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2023-12-20T18:22:49Z)
• Latent State Models of Training Dynamics [51.88132043461152]
  異なるランダムなシードでモデルをトレーニングし、トレーニングを通じてさまざまなメトリクスを計算します。 次に、結果のメトリクス列に隠れマルコフモデル(HMM)を適合させる。 我々はHMM表現を用いて相転移を研究し、収束を遅くする潜伏状態(detour state)を特定する。
  論文  参考訳（メタデータ） (2023-08-18T13:20:08Z)
• The Underlying Correlated Dynamics in Neural Training [6.385006149689549]
  ニューラルネットワークのトレーニングは、計算集約的なタスクである。 本稿では,パラメータのダイナミクスの相関に基づくモデルを提案する。 この表現は、基礎となるトレーニングダイナミクスの理解を深め、より良い加速技術を設計するための道を開くことができる。
  論文  参考訳（メタデータ） (2022-12-18T08:34:11Z)
• Cooperative data-driven modeling [44.99833362998488]
  メカニクスにおけるデータ駆動モデリングは、最近の機械学習の進歩に基づいて急速に進化している。 異なるグループによって作成された新しいデータとモデルが利用可能となり、協調モデリングの可能性が開ける。 人工ニューラルネットワークは、破滅的な忘れ、すなわち、新しいタスクでトレーニングされたときに古いタスクを実行する方法を忘れることに苦しむ。 これは、新しいタスクに既存のモデルを適用することが、誰かによって訓練された前のタスクのパフォーマンスに影響を与えるため、協力を妨げる。
  論文  参考訳（メタデータ） (2022-11-23T14:27:25Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• ModeRNN: Harnessing Spatiotemporal Mode Collapse in Unsupervised Predictive Learning [75.2748374360642]
  そこで本研究では,繰り返し状態間の隠れ構造表現を学習するための新しい手法であるModeRNNを提案する。 データセット全体にわたって、異なるモードがスロットの混合に対して異なるレスポンスをもたらすため、ModeRNNが構造化された表現を構築する能力が向上する。
  論文  参考訳（メタデータ） (2021-10-08T03:47:54Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。