論文の概要: Continual Learning in the Frequency Domain

• arxiv url: http://arxiv.org/abs/2410.06645v4
• Date: Wed, 13 Nov 2024 09:14:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:08:46.912913
• Title: Continual Learning in the Frequency Domain
• Title（参考訳）: 周波数領域における連続学習
• Authors: Ruiqi Liu, Boyu Diao, Libo Huang, Zijia An, Zhulin An, Yongjun Xu,
• Abstract要約: 周波数領域における連続学習(CLFD)と呼ばれる新しいフレームワークを提案する。 特徴抽出器の入力特徴について、CLFDはウェーブレット変換を用いて元の入力画像を周波数領域にマッピングする。 クラウド環境とエッジ環境の両方で実施された実験により、CLFDは精度とトレーニング効率の両方において、最先端(SOTA)手法の性能を一貫して改善することが示された。
• 参考スコア（独自算出の注目度）: 22.415936450558334
• License:
• Abstract: Continual learning (CL) is designed to learn new tasks while preserving existing knowledge. Replaying samples from earlier tasks has proven to be an effective method to mitigate the forgetting of previously acquired knowledge. However, the current research on the training efficiency of rehearsal-based methods is insufficient, which limits the practical application of CL systems in resource-limited scenarios. The human visual system (HVS) exhibits varying sensitivities to different frequency components, enabling the efficient elimination of visually redundant information. Inspired by HVS, we propose a novel framework called Continual Learning in the Frequency Domain (CLFD). To our knowledge, this is the first study to utilize frequency domain features to enhance the performance and efficiency of CL training on edge devices. For the input features of the feature extractor, CLFD employs wavelet transform to map the original input image into the frequency domain, thereby effectively reducing the size of input feature maps. Regarding the output features of the feature extractor, CLFD selectively utilizes output features for distinct classes for classification, thereby balancing the reusability and interference of output features based on the frequency domain similarity of the classes across various tasks. Optimizing only the input and output features of the feature extractor allows for seamless integration of CLFD with various rehearsal-based methods. Extensive experiments conducted in both cloud and edge environments demonstrate that CLFD consistently improves the performance of state-of-the-art (SOTA) methods in both precision and training efficiency. Specifically, CLFD can increase the accuracy of the SOTA CL method by up to 6.83% and reduce the training time by 2.6$\times$.
• Abstract（参考訳）: 継続学習(CL)は、既存の知識を維持しながら新しいタスクを学習するように設計されている。 以前のタスクからのサンプルの再生は、以前取得した知識の忘れを緩和する効果的な方法であることが証明されている。 しかし、リハーサル方式の訓練効率に関する現在の研究は不十分であり、リソース制限シナリオにおけるCLシステムの実践的適用を制限している。 ヒト視覚システム(HVS)は、異なる周波数成分に対する様々な感度を示し、視覚的に冗長な情報の効率的な除去を可能にする。 HVSに触発されて、我々はCLFD(Continuous Learning in the Frequency Domain)と呼ばれる新しいフレームワークを提案する。 我々の知る限り、エッジデバイスにおけるCLトレーニングの性能と効率を高めるために周波数領域の特徴を利用する最初の研究である。 特徴抽出器の入力特徴に対して、CLFDはウェーブレット変換を用いて元の入力画像を周波数領域にマッピングすることにより、入力特徴写像のサイズを効果的に削減する。 特徴抽出器の出力特性について、CLFDはクラスごとに異なる出力特徴を選択的に利用し、クラス間の周波数領域の類似性に基づいて出力特徴の再使用性と干渉のバランスをとる。 特徴抽出器の入力と出力のみを最適化することで、CLFDを様々なリハーサルベースのメソッドとシームレスに統合することができる。 クラウドとエッジの両方で実施された大規模な実験により、CLFDは、精度とトレーニング効率の両方において、最先端(SOTA)メソッドのパフォーマンスを一貫して改善することを示した。 具体的には、CLFDはSOTA CL法の精度を最大6.83%向上させ、トレーニング時間を2.6$\times$に短縮することができる。

関連論文リスト

• Frequency-Guided Masking for Enhanced Vision Self-Supervised Learning [49.275450836604726]
  本稿では、事前学習の有効性を大幅に向上させる、新しい周波数ベースの自己監視学習(SSL)手法を提案する。 我々は、知識蒸留によって強化された2ブランチのフレームワークを使用し、モデルがフィルタされた画像と原画像の両方を入力として取り込むことを可能にする。
  論文  参考訳（メタデータ） (2024-09-16T15:10:07Z)
• Exploring Cross-Domain Few-Shot Classification via Frequency-Aware Prompting [37.721042095518044]
  クロスドメインなFew-Shot Learningはメタラーニングの発展に大きく貢献している。 本稿では,相互に注意を向けた周波数対応プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T08:14:09Z)
• Enhancing Out-of-Distribution Detection with Multitesting-based Layer-wise Feature Fusion [11.689517005768046]
  アウト・オブ・ディストリビューション(Out-of-distriion)サンプルは、トレーニング分布と比較して、局所的またはグローバルな特徴の変化を示す可能性がある。 本稿では,新しいフレームワーク,Multitesting-based Layer-wise Out-of-Distribution (OOD) を提案する。 本手法は, ベースライン法と比較して, 分布外検出の性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-03-16T04:35:04Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• Transfer Learning for Autonomous Chatter Detection in Machining [0.9281671380673306]
  大振幅のシャッター振動は加工過程において最も重要な現象の1つである。 業界全体でのチャット検出に機械学習を適用する上で、3つの課題が特定できる。 これら3つの課題は、移行学習の傘の下でグループ化することができる。
  論文  参考訳（メタデータ） (2022-04-11T20:46:06Z)
• Adaptive Frequency Learning in Two-branch Face Forgery Detection [66.91715092251258]
  本稿では、AFDと呼ばれる2分岐検出フレームワークにおいて、周波数情報を適応的に学習する手法を提案する。 我々は、固定周波数変換からネットワークを解放し、データおよびタスク依存の変換層でより良いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-27T14:25:52Z)
• Deep Frequency Filtering for Domain Generalization [55.66498461438285]
  Deep Neural Networks(DNN)は、学習プロセスにおいて、いくつかの周波数成分を優先する。 本稿では、ドメイン一般化可能な特徴を学習するためのDeep Frequency Filtering (DFF)を提案する。 提案したDFFをベースラインに適用すると,ドメインの一般化タスクにおける最先端の手法よりも優れることを示す。
  論文  参考訳（メタデータ） (2022-03-23T05:19:06Z)
• Functional Regularization for Reinforcement Learning via Learned Fourier Features [98.90474131452588]
  本稿では、入力を学習されたフーリエベースに埋め込むことにより、深層強化学習のための簡単なアーキテクチャを提案する。 その結果、状態ベースと画像ベースの両方のRLのサンプル効率が向上することがわかった。
  論文  参考訳（メタデータ） (2021-12-06T18:59:52Z)
• On Transfer Learning of Traditional Frequency and Time Domain Features in Turning [1.0965065178451106]
  我々は従来の信号処理ツールを用いて、回転実験から得られた加速度計信号のチャタを識別する。 タグ付けされた信号は、分類器の訓練に使用される。 その結果、フーリエスペクトルから抽出した特徴は、分類器を訓練し、同じ切断構成からデータをテストする際に最も有益であることがわかった。
  論文  参考訳（メタデータ） (2020-08-28T14:47:57Z)
• iffDetector: Inference-aware Feature Filtering for Object Detection [70.8678270164057]
  Inference-aware Feature Filtering (IFF)モジュールを導入し、現代の検出器と簡単に組み合わせることができる。 IFFは、畳み込み機能を強化するためにハイレベルなセマンティクスを活用することでクローズドループ最適化を行う。 IFFはCNNベースの物体検出器とプラグアンドプレイ方式で融合でき、計算コストのオーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2020-06-23T02:57:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。