論文の概要: A Wholistic View of Continual Learning with Deep Neural Networks: Forgotten Lessons and the Bridge to Active and Open World Learning

• arxiv url: http://arxiv.org/abs/2009.01797v2
• Date: Fri, 11 Sep 2020 13:57:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 07:06:59.277723
• Title: A Wholistic View of Continual Learning with Deep Neural Networks: Forgotten Lessons and the Bridge to Active and Open World Learning
• Title（参考訳）: 深層ニューラルネットワークによる連続学習の全体観:忘れられた教訓とアクティブでオープンな世界学習への橋渡し
• Authors: Martin Mundt, Yong Won Hong, Iuliia Pliushch, Visvanathan Ramesh
• Abstract要約: オープンデータセット認識による顕著な教訓,観測データセット外の統計的逸脱したデータの識別,および近接するアクティブラーニングの分野は,深層学習時代においてしばしば見過ごされる。 我々の結果は、これは個々のパラダイムに利益をもたらすだけでなく、共通のフレームワークにおける自然なシナジーを強調していることを示している。
• 参考スコア（独自算出の注目度）: 8.188575923130662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current deep learning research is dominated by benchmark evaluation. A method is regarded as favorable if it empirically performs well on the dedicated test set. This mentality is seamlessly reflected in the resurfacing area of continual learning, where consecutively arriving sets of benchmark data are investigated. The core challenge is framed as protecting previously acquired representations from being catastrophically forgotten due to the iterative parameter updates. However, comparison of individual methods is nevertheless treated in isolation from real world application and typically judged by monitoring accumulated test set performance. The closed world assumption remains predominant. It is assumed that during deployment a model is guaranteed to encounter data that stems from the same distribution as used for training. This poses a massive challenge as neural networks are well known to provide overconfident false predictions on unknown instances and break down in the face of corrupted data. In this work we argue that notable lessons from open set recognition, the identification of statistically deviating data outside of the observed dataset, and the adjacent field of active learning, where data is incrementally queried such that the expected performance gain is maximized, are frequently overlooked in the deep learning era. Based on these forgotten lessons, we propose a consolidated view to bridge continual learning, active learning and open set recognition in deep neural networks. Our results show that this not only benefits each individual paradigm, but highlights the natural synergies in a common framework. We empirically demonstrate improvements when alleviating catastrophic forgetting, querying data in active learning, selecting task orders, while exhibiting robust open world application where previously proposed methods fail.
• Abstract（参考訳）: 現在のディープラーニングの研究はベンチマーク評価に支配されている。 専用テストセット上で実証的に良好に動作する場合、その方法は好ましいものとみなす。 このメンタリティは、連続したベンチマークデータのセットを調査する連続学習の復活領域にシームレスに反映される。 コア課題は、繰り返しパラメータの更新により、以前に取得した表現が破滅的に忘れられることを防ぐことである。 しかしながら、個々のメソッドの比較は現実世界のアプリケーションから分離して扱われ、通常、累積テストセットのパフォーマンスの監視によって判断される。 閉世界仮説は依然として支配的である。 デプロイ中、モデルはトレーニングに使用されるのと同じ分布に由来するデータに遭遇することが保証されていると仮定される。 ニューラルネットワークは、未知のインスタンスに対して自信過剰な誤った予測を提供し、破損したデータに直面して崩壊することで知られるため、これは大きな課題となる。 本研究では,オープンデータセット認識による顕著な教訓,観測データセット外における統計的に逸脱するデータの識別,および期待される性能向上が最大化されるようにデータを漸進的にクエリするアクティビティ学習の分野を,深層学習時代にしばしば見落としていることを論じる。 これらの忘れられた教訓に基づき、深層ニューラルネットワークにおける連続学習、アクティブラーニング、オープンセット認識を橋渡しする統合的な視点を提案する。 その結果,各パラダイムにメリットがあるだけでなく,共通フレームワークの自然な相乗効果を浮き彫りにしていることがわかった。 従来提案されていた手法が失敗するような堅牢なオープンワールドアプリケーションを示しながら、破滅的な放棄、アクティブラーニングにおけるデータクエリ、タスク順序の選択といった改善を実証的に実証する。

関連論文リスト

• LORD: Leveraging Open-Set Recognition with Unknown Data [10.200937444995944]
  LORDは未知のデータを活用することでオープンセット認識を活用するためのフレームワークである。 我々は、背景データを利用した3つのモデルに依存しない訓練戦略を特定し、それらを確立された分類器に適用する。
  論文  参考訳（メタデータ） (2023-08-24T06:12:41Z)
• Uncertainty-Aware Bootstrap Learning for Joint Extraction on Distantly-Supervised Data [36.54640096189285]
  ブートストラップ学習は、インスタンスの不確実性が高ければ高いほど、モデルの信頼性は基礎的な真実と矛盾する可能性が高いという直感によって動機付けられます。 まず、まずインスタンスレベルのデータ不確実性を調べて、信頼度の高い最初の例を作成します。 ブートストラップ学習において,ノイズラベルが生成するモデル間不確実性を軽減するために,正規化器としての自己認識を提案する。
  論文  参考訳（メタデータ） (2023-05-05T20:06:11Z)
• Deepfake Detection via Joint Unsupervised Reconstruction and Supervised Classification [25.84902508816679]
  本稿では,再建作業と分類作業を同時に行うディープフェイク検出手法を提案する。 この方法は、あるタスクによって学習された情報を他のタスクと共有する。 提案手法は,一般的に使用されている3つのデータセットに対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-11-24T05:44:26Z)
• Masked prediction tasks: a parameter identifiability view [49.533046139235466]
  マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。 いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
  論文  参考訳（メタデータ） (2022-02-18T17:09:32Z)
• Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
  データセットバイアスは、機械学習における不公平な原因の1つです。 不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。 また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
  論文  参考訳（メタデータ） (2021-04-14T14:20:22Z)
• Low-Regret Active learning [64.36270166907788]
  トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。 私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-04-06T22:53:45Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。