論文の概要: Review Learning: Alleviating Catastrophic Forgetting with Generative Replay without Generator

• arxiv url: http://arxiv.org/abs/2210.09394v1
• Date: Mon, 17 Oct 2022 19:54:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-10-19 13:28:08.066692
• Title: Review Learning: Alleviating Catastrophic Forgetting with Generative Replay without Generator
• Title（参考訳）: レビュー:発電機なしの再生再生による破滅的予測の軽減
• Authors: Jaesung Yoo, Sunghyuk Choi, Ye Seul Yang, Suhyeon Kim, Jieun Choi, Dongkyeong Lim, Yaeji Lim, Hyung Joon Joo, Dae Jung Kim, Rae Woong Park, Hyeong-Jin Yoon, Kwangsoo Kim
• Abstract要約: ディープラーニングモデルを異なるデータセットで逐次訓練すると、以前のデータから得られた知識を忘れてしまう。 本稿では,別個のジェネレータを必要としない再生再生型連続学習技術であるレビューラーニング(RL)を提案する。
• 参考スコア（独自算出の注目度）: 3.3362235603275145
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: When a deep learning model is sequentially trained on different datasets, it forgets the knowledge acquired from previous data, a phenomenon known as catastrophic forgetting. It deteriorates performance of the deep learning model on diverse datasets, which is critical in privacy-preserving deep learning (PPDL) applications based on transfer learning (TL). To overcome this, we propose review learning (RL), a generative-replay-based continual learning technique that does not require a separate generator. Data samples are generated from the memory stored within the synaptic weights of the deep learning model which are used to review knowledge acquired from previous datasets. The performance of RL was validated through PPDL experiments. Simulations and real-world medical multi-institutional experiments were conducted using three types of binary classification electronic health record data. In the real-world experiments, the global area under the receiver operating curve was 0.710 for RL and 0.655 for TL. Thus, RL was highly effective in retaining previously learned knowledge.
• Abstract（参考訳）: ディープラーニングモデルが異なるデータセット上で順次トレーニングされると、過去のデータから得られた知識を忘れてしまう。 転送学習(TL)に基づくプライバシー保護深層学習(PPDL)アプリケーションでは,多様なデータセット上でのディープラーニングモデルの性能が低下する。 そこで本研究では,個別生成器を必要としない生成・再生型連続学習手法であるreview learning (rl)を提案する。 過去のデータセットから得られた知識をレビューするために、ディープラーニングモデルのシナプス重みに記憶されたメモリからデータサンプルを生成する。 PPDL実験によりRLの性能を検証した。 3種類の電子健康記録データを用いてシミュレーションと実世界の医療施設実験を行った。 実世界の実験では、受信機操作曲線下のグローバル面積は rl の 0.710 と tl の 0.655 であった。 したがって、RLは以前に学んだ知識を維持するのに非常に効果的であった。

関連論文リスト

• FedCVD: The First Real-World Federated Learning Benchmark on Cardiovascular Disease Data [52.55123685248105]
  心臓血管疾患(CVD)は、現在世界でも主要な死因であり、早期診断と治療の要点を浮き彫りにしている。 機械学習(ML)手法はCVDの早期診断に役立つが、その性能は高品質なデータへのアクセスに依存している。 本稿では、FedCVDという心臓血管疾患検出のための、世界初の実世界のFLベンチマークを示す。
  論文  参考訳（メタデータ） (2024-10-28T02:24:01Z)
• CL3: A Collaborative Learning Framework for the Medical Data Ensuring Data Privacy in the Hyperconnected Environment [1.223961905359498]
  ハイパーコネクテッドな環境では、医療機関は機密性の高い患者情報を共有・送信する際にデータプライバシに関心を持つ。 トランスファー、フェデレーション、インクリメンタルラーニングを含む協調学習フレームワークは、効率的でセキュアでスケーラブルなモデルを生成することができる。 本研究の目的は、CL3と呼ばれる協調学習フレームワークを用いて、胸部X線画像を用いたCOVID-19の検出に対処することである。
  論文  参考訳（メタデータ） (2024-10-10T13:29:12Z)
• Data Augmentation for Sparse Multidimensional Learning Performance Data Using Generative AI [17.242331892899543]
  学習パフォーマンスデータは、適応学習における正しい解答や問題解決の試みを記述している。 学習性能データは、適応的なアイテム選択のため、ほとんどの実世界のアプリケーションでは、非常にスパースな(80%(sim)90%の欠落)傾向にある。 本稿では,学習者のデータの分散性に対処するために,学習者のデータを拡張するための体系的フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T00:25:07Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• An In-Depth Evaluation of Federated Learning on Biomedical Natural Language Processing [7.412360079707614]
  言語モデル(LM)は自然言語処理(NLP)に革命をもたらした 医療分野は、データプライバシの制約が限られているため、LMをトレーニングする際の課題に直面している。 Federated Data(FL)では、共同学習を可能にする分散ソリューションを提供しています。
  論文  参考訳（メタデータ） (2023-07-20T22:10:04Z)
• Reinforcement Learning from Passive Data via Latent Intentions [86.4969514480008]
  我々は、下流RLを加速する機能を学ぶために、受動的データが引き続き使用できることを示す。 我々のアプローチは、意図をモデル化することで受動的データから学習する。 実験では、クロス・エボディメント・ビデオデータやYouTubeビデオなど、さまざまな形式の受動的データから学習できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:59:05Z)
• Convolutional Neural Networks for the classification of glitches in gravitational-wave data streams [52.77024349608834]
  我々は、高度LIGO検出器のデータから過渡ノイズ信号(グリッチ)と重力波を分類する。 どちらも、Gravity Spyデータセットを使用して、スクラッチからトレーニングされた、教師付き学習アプローチのモデルを使用します。 また、擬似ラベルの自動生成による事前学習モデルの自己教師型アプローチについても検討する。
  論文  参考訳（メタデータ） (2023-03-24T11:12:37Z)
• Synthetic Experience Replay [48.601879260071655]
  エージェントの収集した経験を柔軟にアップサンプリングするための拡散に基づくアプローチであるSynthetic Experience Replay(SynthER)を提案する。 SynthERはオフラインおよびオンライン設定におけるRLエージェントのトレーニングに有効な方法であることを示す。 我々は、限られたデータからリプレイベースのRLアルゴリズムの深層学習の可能性を実現するために、合成トレーニングデータが扉を開くことができると信じている。
  論文  参考訳（メタデータ） (2023-03-12T09:10:45Z)
• Real World Offline Reinforcement Learning with Realistic Data Source [33.7474988142367]
  オフライン強化学習(ORL)は、任意の事前生成経験から学習する能力があるため、ロボット学習に非常に有望である。 現在のORLベンチマークは、ほぼ完全にシミュレーションされており、オンラインRLエージェントのリプレイバッファや、サブ最適トラジェクトリのような、探索されたデータセットを使用している。 本研究(Real-ORL)では、密接に関連するタスクの安全な操作から収集されたデータは、現実のロボット学習のためのより実用的なデータソースであると仮定する。
  論文  参考訳（メタデータ） (2022-10-12T17:57:05Z)
• LifeLonger: A Benchmark for Continual Disease Classification [59.13735398630546]
  MedMNISTコレクションの連続的な疾患分類のためのベンチマークであるLifeLongerを紹介する。 タスクとクラスでの病気の漸進的な学習は、モデルをスクラッチから再トレーニングすることなく、新しいサンプルを分類する問題に対処する。 クロスドメインインクリメンタル学習は、これまで得られた知識を維持しながら、異なる機関から派生したデータセットを扱う問題に対処する。
  論文  参考訳（メタデータ） (2022-04-12T12:25:05Z)
• When Accuracy Meets Privacy: Two-Stage Federated Transfer Learning Framework in Classification of Medical Images on Limited Data: A COVID-19 Case Study [77.34726150561087]
  新型コロナウイルスのパンデミックが急速に広がり、世界の医療資源が不足している。 CNNは医療画像の解析に広く利用され、検証されている。
  論文  参考訳（メタデータ） (2022-03-24T02:09:41Z)
• Evaluating deep transfer learning for whole-brain cognitive decoding [11.898286908882561]
  転送学習(TL)は、少数のサンプルを持つデータセットにおける深層学習(DL)モデルの性能向上に適している。 本稿では,全脳機能型磁気共鳴画像(fMRI)データから認識状態の復号化にDLモデルを適用するためのTLを評価した。
  論文  参考訳（メタデータ） (2021-11-01T15:44:49Z)
• Fractional Transfer Learning for Deep Model-Based Reinforcement Learning [0.966840768820136]
  強化学習(Reinforcement Learning, RL)は、RLエージェントが複雑なタスクを実行することを学ぶために大量のデータを必要とすることで知られている。 モデルベースRLの最近の進歩により、エージェントはずっとデータ効率が良い。 簡単な代替手法として、分数変換学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T12:44:42Z)
• Deep learning-based COVID-19 pneumonia classification using chest CT images: model generalizability [54.86482395312936]
  深層学習(DL)分類モデルは、異なる国の3DCTデータセット上で、COVID-19陽性患者を特定するために訓練された。 我々は、データセットと72%の列車、8%の検証、20%のテストデータを組み合わせたDLベースの9つの同一分類モデルを訓練した。 複数のデータセットでトレーニングされ、トレーニングに使用されるデータセットの1つからテストセットで評価されたモデルは、よりよいパフォーマンスを示した。
  論文  参考訳（メタデータ） (2021-02-18T21:14:52Z)
• FLOP: Federated Learning on Medical Datasets using Partial Networks [84.54663831520853]
  新型コロナウイルスの感染拡大で医療資源が不足している。 新型コロナウイルスの診断を緩和するために、さまざまなデータ駆動型ディープラーニングモデルが開発されている。 患者のプライバシー上の懸念から、データそのものはまだ乏しい。 我々は、textbfPartial Networks (FLOP) を用いた、シンプルで効果的な textbfFederated textbfL textbfon Medical データセットを提案する。
  論文  参考訳（メタデータ） (2021-02-10T01:56:58Z)
• All Data Inclusive, Deep Learning Models to Predict Critical Events in the Medical Information Mart for Intensive Care III Database (MIMIC III) [0.0]
  本研究は35,348人を対象に42,818人の入院患者を対象に行った。 複数のデータソースにわたる7500万以上のイベントが処理され、3億5500万以上のトークンが処理された。 すべてのデータソースを使用して構築されたモデルから、はるかに信頼性が高く、信頼性の高いホスピタル死亡を予測できる。
  論文  参考訳（メタデータ） (2020-09-02T22:12:18Z)
• Real-World Multi-Domain Data Applications for Generalizations to Clinical Settings [1.508558791031741]
  ディープラーニングモデルは、臨床試験のような人工的な設定から標準化されたデータセットでトレーニングされた場合、うまく機能する。 マルチドメイン実世界のデータセットに転送学習を用いた自己教師型アプローチを用いることで、標準化されたデータセットに対して16%の相対的改善が達成できることを示す。
  論文  参考訳（メタデータ） (2020-07-24T17:41:23Z)
• RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
  事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。 転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
  論文  参考訳（メタデータ） (2020-07-07T11:27:43Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。