論文の概要: Efficient Continual Learning through Frequency Decomposition and Integration

• arxiv url: http://arxiv.org/abs/2503.22175v1
• Date: Fri, 28 Mar 2025 06:36:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:29:39.791040
• Title: Efficient Continual Learning through Frequency Decomposition and Integration
• Title（参考訳）: 周波数分解と統合による継続的学習の効率化
• Authors: Ruiqi Liu, Boyu Diao, Libo Huang, Hangda Liu, Chuanguang Yang, Zhulin An, Yongjun Xu,
• Abstract要約: 本稿では周波数分割統合ネットワーク(FDINet)を提案する。 実験では、FDINetはバックボーンパラメータを78%削減し、最先端(SOTA)メソッドよりも7.49%精度を向上し、ピークメモリ使用量を80%削減している。
• 参考スコア（独自算出の注目度）: 25.016256446470948
• License:
• Abstract: Continual learning (CL) aims to learn new tasks while retaining past knowledge, addressing the challenge of forgetting during task adaptation. Rehearsal-based methods, which replay previous samples, effectively mitigate forgetting. However, research on enhancing the efficiency of these methods, especially in resource-constrained environments, remains limited, hindering their application in real-world systems with dynamic data streams. The human perceptual system processes visual scenes through complementary frequency channels: low-frequency signals capture holistic cues, while high-frequency components convey structural details vital for fine-grained discrimination. Inspired by this, we propose the Frequency Decomposition and Integration Network (FDINet), a novel framework that decomposes and integrates information across frequencies. FDINet designs two lightweight networks to independently process low- and high-frequency components of images. When integrated with rehearsal-based methods, this frequency-aware design effectively enhances cross-task generalization through low-frequency information, preserves class-specific details using high-frequency information, and facilitates efficient training due to its lightweight architecture. Experiments demonstrate that FDINet reduces backbone parameters by 78%, improves accuracy by up to 7.49% over state-of-the-art (SOTA) methods, and decreases peak memory usage by up to 80%. Additionally, on edge devices, FDINet accelerates training by up to 5$\times$.
• Abstract（参考訳）: 継続的な学習(CL)は、過去の知識を維持しながら新しいタスクを学習することを目的としており、タスク適応中に忘れることの難しさに対処している。 以前のサンプルをリプレイするリハーサルベースのメソッドは、事実上忘れを軽減します。 しかし、特に資源制約のある環境では、これらの手法の効率性を高める研究は限定的であり、ダイナミックなデータストリームを持つ現実のシステムでの応用を妨げている。 人間の知覚システムは相補的な周波数チャネルを通して視覚シーンを処理し、低周波信号は全体的手がかりを捉え、高周波成分は微細な識別に不可欠な構造的詳細を伝達する。 そこで我々は周波数分解統合ネットワーク (FDINet) を提案する。 FDINetは、画像の低周波成分と高周波成分を独立に処理する2つの軽量ネットワークを設計する。 リハーサルベースの手法と統合した場合、この周波数認識設計は、低周波情報によるクロスタスクの一般化を効果的に強化し、高周波情報を用いてクラス固有の詳細を保存し、その軽量アーキテクチャによる効率的なトレーニングを容易にする。 実験では、FDINetはバックボーンパラメータを78%削減し、最先端(SOTA)メソッドよりも7.49%精度を向上し、ピークメモリ使用量を80%削減している。 さらに、エッジデバイスでは、FDINetはトレーニングを最大5$\times$で高速化する。

関連論文リスト

• STAF: Sinusoidal Trainable Activation Functions for Implicit Neural Representation [7.2888019138115245]
  Inlicit Neural Representations (INR) は、連続的な信号をモデリングするための強力なフレームワークとして登場した。 ReLUベースのネットワークのスペクトルバイアスは、十分に確立された制限であり、ターゲット信号の微細な詳細を捕捉する能力を制限する。 Sinusoidal Trainable Function Activation (STAF)について紹介する。 STAFは本質的に周波数成分を変調し、自己適応型スペクトル学習を可能にする。
  論文  参考訳（メタデータ） (2025-02-02T18:29:33Z)
• BEAT: Balanced Frequency Adaptive Tuning for Long-Term Time-Series Forecasting [46.922741972636025]
  時系列予測は、天気予報や金融市場モデリングを含む多くの現実世界のアプリケーションにとって不可欠である。 BEAT(Balanced frequency Adaptive Tuning)は、各周波数のトレーニング状況を監視し、勾配更新を適応的に調整する新しいフレームワークである。 BEATは7つの実世界のデータセットの実験において、最先端のアプローチを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-01-31T11:52:35Z)
• Continual Learning in the Frequency Domain [22.415936450558334]
  周波数領域における連続学習(CLFD)と呼ばれる新しいフレームワークを提案する。 特徴抽出器の入力特徴について、CLFDはウェーブレット変換を用いて元の入力画像を周波数領域にマッピングする。 クラウド環境とエッジ環境の両方で実施された実験により、CLFDは精度とトレーニング効率の両方において、最先端(SOTA)手法の性能を一貫して改善することが示された。
  論文  参考訳（メタデータ） (2024-10-09T07:57:47Z)
• Exploring Cross-Domain Few-Shot Classification via Frequency-Aware Prompting [37.721042095518044]
  クロスドメインなFew-Shot Learningはメタラーニングの発展に大きく貢献している。 本稿では,相互に注意を向けた周波数対応プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T08:14:09Z)
• Frequency-Aware Deepfake Detection: Improving Generalizability through Frequency Space Learning [81.98675881423131]
  この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。 既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。 本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-03-12T01:28:00Z)
• A High-Frequency Focused Network for Lightweight Single Image Super-Resolution [16.264904771818507]
  高周波の詳細は低周波情報よりも再構成が難しい。 ほとんどのSISRモデルは、低周波および高周波情報に等しい計算資源を割り当てる。 高周波情報を選択的に強化するHFFN(High-Frequency Focused Network)を提案する。
  論文  参考訳（メタデータ） (2023-03-21T09:41:13Z)
• Disentangled Representation Learning for RF Fingerprint Extraction under Unknown Channel Statistics [77.13542705329328]
  本稿では,まず,不整合表現学習(DRL)の枠組みを提案し,入力信号を逆学習によりデバイス関連成分とデバイス関連成分に分解する。 提案フレームワークにおける暗黙的なデータ拡張は、デバイス非関連チャネル統計の過度な適合を避けるために、RFF抽出器に正規化を課す。 実験により、DR-RFFと呼ばれる提案手法は、未知の複雑な伝播環境に対する一般化可能性の観点から従来の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-08-04T15:46:48Z)
• Improved Speech Emotion Recognition using Transfer Learning and Spectrogram Augmentation [56.264157127549446]
  音声感情認識(SER)は、人間とコンピュータの相互作用において重要な役割を果たす課題である。 SERの主な課題の1つは、データの不足である。 本稿では,スペクトログラム拡張と併用した移動学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-05T10:39:39Z)
• Collaborative Distillation in the Parameter and Spectrum Domains for Video Action Recognition [79.60708268515293]
  本稿では,行動認識のための小型かつ効率的なネットワークの訓練方法について検討する。 周波数領域における2つの蒸留戦略,すなわち特徴スペクトルとパラメータ分布蒸留を提案する。 提案手法は,同じバックボーンを持つ最先端の手法よりも高い性能を実現することができる。
  論文  参考訳（メタデータ） (2020-09-15T07:29:57Z)
• Capturing scattered discriminative information using a deep architecture in acoustic scene classification [49.86640645460706]
  本研究では,識別情報を捕捉し,同時に過度に適合する問題を緩和する様々な手法について検討する。 我々は、ディープニューラルネットワークにおける従来の非線形アクティベーションを置き換えるために、Max Feature Map法を採用する。 2つのデータ拡張方法と2つの深いアーキテクチャモジュールは、システムの過度な適合を減らし、差別的なパワーを維持するためにさらに検討されている。
  論文  参考訳（メタデータ） (2020-07-09T08:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。