論文の概要: Online Distillation with Continual Learning for Cyclic Domain Shifts

• arxiv url: http://arxiv.org/abs/2304.01239v1
• Date: Mon, 3 Apr 2023 11:15:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 17:05:00.846827
• Title: Online Distillation with Continual Learning for Cyclic Domain Shifts
• Title（参考訳）: 循環型ドメインシフトの連続学習によるオンライン蒸留
• Authors: Joachim Houyon, Anthony Cioppa, Yasir Ghunaim, Motasem Alfarra, Ana\"is Halin, Maxim Henry, Bernard Ghanem, Marc Van Droogenbroeck
• Abstract要約: ドメインシフトの影響を低減するために,連続学習手法のパワーを活用して解を提案する。 我々の研究は、オンライン蒸留と継続的な学習の分野における重要な一歩であり、現実世界のアプリケーションに大きな影響を与える可能性がある。
• 参考スコア（独自算出の注目度）: 52.707212371912476
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, online distillation has emerged as a powerful technique for adapting real-time deep neural networks on the fly using a slow, but accurate teacher model. However, a major challenge in online distillation is catastrophic forgetting when the domain shifts, which occurs when the student model is updated with data from the new domain and forgets previously learned knowledge. In this paper, we propose a solution to this issue by leveraging the power of continual learning methods to reduce the impact of domain shifts. Specifically, we integrate several state-of-the-art continual learning methods in the context of online distillation and demonstrate their effectiveness in reducing catastrophic forgetting. Furthermore, we provide a detailed analysis of our proposed solution in the case of cyclic domain shifts. Our experimental results demonstrate the efficacy of our approach in improving the robustness and accuracy of online distillation, with potential applications in domains such as video surveillance or autonomous driving. Overall, our work represents an important step forward in the field of online distillation and continual learning, with the potential to significantly impact real-world applications.
• Abstract（参考訳）: 近年、オンライン蒸留は、遅いが正確な教師モデルを用いてリアルタイムでディープニューラルネットワークを適用するための強力な技術として出現している。 しかし、オンライン蒸留における大きな課題は、学生モデルが新しいドメインのデータで更新され、それまでの知識を忘れたときに生じるドメインシフトが破滅的なことを忘れることである。 本稿では,ドメインシフトの影響を低減するために連続学習手法のパワーを活用することで,この問題に対する解決策を提案する。 具体的には, オンライン蒸留の文脈において, 最先端の連続学習手法をいくつか統合し, 破滅的放棄の低減効果を実証する。 さらに, 環状領域シフトの場合には, 提案する解の詳細な解析を行う。 実験により, オンライン蒸留の堅牢性と精度向上に対する我々のアプローチの有効性を実証し, ビデオ監視や自律運転といった分野への応用の可能性を示した。 全体として、われわれの研究はオンライン蒸留と継続的学習の分野における重要な一歩であり、現実世界のアプリケーションに大きな影響を与える可能性がある。

関連論文リスト

• Evaluating the Effectiveness of Video Anomaly Detection in the Wild: Online Learning and Inference for Real-world Deployment [2.1374208474242815]
  Video Anomaly Detection (VAD) は、監視から医療まで幅広い応用の鍵となる、ビデオストリームにおける異常な活動を特定する。 実生活環境でのVADに取り組むことは、人間の行動の動的な性質、環境の変化、ドメインシフトによって大きな課題となる。 オンライン学習は、モデルを新しい情報に継続的に適応させることによって、この問題を軽減するための潜在的戦略である。
  論文  参考訳（メタデータ） (2024-04-29T14:47:32Z)
• Improving Online Continual Learning Performance and Stability with Temporal Ensembles [30.869268130955145]
  オンライン連続学習における性能と安定性向上のためのモデルアンサンブルの効果について検討する。 テスト時の重み(EMA)の指数移動平均を計算するために,軽量時間アンサンブルを用いる。
  論文  参考訳（メタデータ） (2023-06-29T09:53:24Z)
• On effects of Knowledge Distillation on Transfer Learning [0.0]
  本稿では,知識蒸留と伝達学習を組み合わせたTL+KDという機械学習アーキテクチャを提案する。 我々は,教師ネットワークの指導と知識を微調整中に利用することにより,学生ネットワークを改良し,精度などの検証性能を向上させることができることを示した。
  論文  参考訳（メタデータ） (2022-10-18T08:11:52Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking [58.14267480293575]
  オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。 これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。 我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-28T06:51:18Z)
• Online Adversarial Distillation for Graph Neural Networks [40.746598033413086]
  知識蒸留は畳み込みニューラルネットワークにおけるモデル一般化能力を改善する技術である。 本稿では,一群のグラフニューラルネットワークを学習するためのオンライン逆蒸留手法を提案する。
  論文  参考訳（メタデータ） (2021-12-28T02:30:11Z)
• TRAIL: Near-Optimal Imitation Learning with Suboptimal Data [100.83688818427915]
  オフラインデータセットを使用してファクタードトランジションモデルを学習するトレーニング目標を提案する。 我々の理論的分析は、学習された潜在行動空間が下流模倣学習のサンプル効率を高めることを示唆している。 実際に潜伏行動空間を学習するために、エネルギーベースの遷移モデルを学ぶアルゴリズムTRAIL(Transition-Reparametrized Actions for Imitation Learning)を提案する。
  論文  参考訳（メタデータ） (2021-10-27T21:05:00Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Domain Adaptive Knowledge Distillation for Driving Scene Semantic Segmentation [9.203485172547824]
  本稿では,限られたメモリを持つモデルにおいて,ドメイン適応知識を学習するための新しいアプローチを提案する。 異なるレベルの知識を効果的に消毒するための多段階蒸留戦略を提案する。 実物と実物の両方のシナリオについて、広範囲にわたる実験およびアブレーション研究を行う。
  論文  参考訳（メタデータ） (2020-11-03T03:01:09Z)
• Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
  破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。 本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
  論文  参考訳（メタデータ） (2020-06-12T06:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。