論文の概要: Review Learning: Alleviating Catastrophic Forgetting with Generative Replay without Generator

• arxiv url: http://arxiv.org/abs/2210.09394v1
• Date: Mon, 17 Oct 2022 19:54:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 13:28:08.066692
• Title: Review Learning: Alleviating Catastrophic Forgetting with Generative Replay without Generator
• Title（参考訳）: レビュー:発電機なしの再生再生による破滅的予測の軽減
• Authors: Jaesung Yoo, Sunghyuk Choi, Ye Seul Yang, Suhyeon Kim, Jieun Choi, Dongkyeong Lim, Yaeji Lim, Hyung Joon Joo, Dae Jung Kim, Rae Woong Park, Hyeong-Jin Yoon, Kwangsoo Kim
• Abstract要約: ディープラーニングモデルを異なるデータセットで逐次訓練すると、以前のデータから得られた知識を忘れてしまう。 本稿では,別個のジェネレータを必要としない再生再生型連続学習技術であるレビューラーニング(RL)を提案する。
• 参考スコア（独自算出の注目度）: 3.3362235603275145
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: When a deep learning model is sequentially trained on different datasets, it forgets the knowledge acquired from previous data, a phenomenon known as catastrophic forgetting. It deteriorates performance of the deep learning model on diverse datasets, which is critical in privacy-preserving deep learning (PPDL) applications based on transfer learning (TL). To overcome this, we propose review learning (RL), a generative-replay-based continual learning technique that does not require a separate generator. Data samples are generated from the memory stored within the synaptic weights of the deep learning model which are used to review knowledge acquired from previous datasets. The performance of RL was validated through PPDL experiments. Simulations and real-world medical multi-institutional experiments were conducted using three types of binary classification electronic health record data. In the real-world experiments, the global area under the receiver operating curve was 0.710 for RL and 0.655 for TL. Thus, RL was highly effective in retaining previously learned knowledge.
• Abstract（参考訳）: ディープラーニングモデルが異なるデータセット上で順次トレーニングされると、過去のデータから得られた知識を忘れてしまう。 転送学習(TL)に基づくプライバシー保護深層学習(PPDL)アプリケーションでは,多様なデータセット上でのディープラーニングモデルの性能が低下する。 そこで本研究では,個別生成器を必要としない生成・再生型連続学習手法であるreview learning (rl)を提案する。 過去のデータセットから得られた知識をレビューするために、ディープラーニングモデルのシナプス重みに記憶されたメモリからデータサンプルを生成する。 PPDL実験によりRLの性能を検証した。 3種類の電子健康記録データを用いてシミュレーションと実世界の医療施設実験を行った。 実世界の実験では、受信機操作曲線下のグローバル面積は rl の 0.710 と tl の 0.655 であった。 したがって、RLは以前に学んだ知識を維持するのに非常に効果的であった。

関連論文リスト

• Data Augmentation for Sparse Multidimensional Learning Performance Data Using Generative AI [17.242331892899543]
  学習パフォーマンスデータは、適応学習における正しい解答や問題解決の試みを記述している。 学習性能データは、適応的なアイテム選択のため、ほとんどの実世界のアプリケーションでは、非常にスパースな(80%(sim)90%の欠落)傾向にある。 本稿では,学習者のデータの分散性に対処するために,学習者のデータを拡張するための体系的フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T00:25:07Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• Reinforcement Learning from Passive Data via Latent Intentions [86.4969514480008]
  我々は、下流RLを加速する機能を学ぶために、受動的データが引き続き使用できることを示す。 我々のアプローチは、意図をモデル化することで受動的データから学習する。 実験では、クロス・エボディメント・ビデオデータやYouTubeビデオなど、さまざまな形式の受動的データから学習できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:59:05Z)
• Convolutional Neural Networks for the classification of glitches in gravitational-wave data streams [52.77024349608834]
  我々は、高度LIGO検出器のデータから過渡ノイズ信号(グリッチ)と重力波を分類する。 どちらも、Gravity Spyデータセットを使用して、スクラッチからトレーニングされた、教師付き学習アプローチのモデルを使用します。 また、擬似ラベルの自動生成による事前学習モデルの自己教師型アプローチについても検討する。
  論文  参考訳（メタデータ） (2023-03-24T11:12:37Z)
• Synthetic Experience Replay [48.601879260071655]
  エージェントの収集した経験を柔軟にアップサンプリングするための拡散に基づくアプローチであるSynthetic Experience Replay(SynthER)を提案する。 SynthERはオフラインおよびオンライン設定におけるRLエージェントのトレーニングに有効な方法であることを示す。 我々は、限られたデータからリプレイベースのRLアルゴリズムの深層学習の可能性を実現するために、合成トレーニングデータが扉を開くことができると信じている。
  論文  参考訳（メタデータ） (2023-03-12T09:10:45Z)
• Real World Offline Reinforcement Learning with Realistic Data Source [33.7474988142367]
  オフライン強化学習(ORL)は、任意の事前生成経験から学習する能力があるため、ロボット学習に非常に有望である。 現在のORLベンチマークは、ほぼ完全にシミュレーションされており、オンラインRLエージェントのリプレイバッファや、サブ最適トラジェクトリのような、探索されたデータセットを使用している。 本研究(Real-ORL)では、密接に関連するタスクの安全な操作から収集されたデータは、現実のロボット学習のためのより実用的なデータソースであると仮定する。
  論文  参考訳（メタデータ） (2022-10-12T17:57:05Z)
• Evaluating deep transfer learning for whole-brain cognitive decoding [11.898286908882561]
  転送学習(TL)は、少数のサンプルを持つデータセットにおける深層学習(DL)モデルの性能向上に適している。 本稿では,全脳機能型磁気共鳴画像(fMRI)データから認識状態の復号化にDLモデルを適用するためのTLを評価した。
  論文  参考訳（メタデータ） (2021-11-01T15:44:49Z)
• Fractional Transfer Learning for Deep Model-Based Reinforcement Learning [0.966840768820136]
  強化学習(Reinforcement Learning, RL)は、RLエージェントが複雑なタスクを実行することを学ぶために大量のデータを必要とすることで知られている。 モデルベースRLの最近の進歩により、エージェントはずっとデータ効率が良い。 簡単な代替手法として、分数変換学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T12:44:42Z)
• RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
  事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。 転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
  論文  参考訳（メタデータ） (2020-07-07T11:27:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。