論文の概要: Selective Attention-based Modulation for Continual Learning

• arxiv url: http://arxiv.org/abs/2403.20086v1
• Date: Fri, 29 Mar 2024 09:46:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 16:04:00.959517
• Title: Selective Attention-based Modulation for Continual Learning
• Title（参考訳）: 連続学習のための選択的注意に基づく変調
• Authors: Giovanni Bellitto, Federica Proietto Salanitri, Matteo Pennisi, Matteo Boschini, Angelo Porrello, Simone Calderara, Simone Palazzo, Concetto Spampinato,
• Abstract要約: 本稿では,生物学的に評価可能な注意誘導変調手法を提案し,連続的な学習環境における分類モデルを強化する。 我々は,非I.D.分類タスクのシーケンスの学習を駆動し,安定化させる変調信号として,補助塩分率予測機能を用いる。 注意に基づく変調は、刺激的な特徴の存在に対してより堅牢な特徴の学習を成功させることを示す。
• 参考スコア（独自算出の注目度）: 22.753447801423366
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present SAM, a biologically-plausible selective attention-driven modulation approach to enhance classification models in a continual learning setting. Inspired by neurophysiological evidence that the primary visual cortex does not contribute to object manifold untangling for categorization and that primordial attention biases are still embedded in the modern brain, we propose to employ auxiliary saliency prediction features as a modulation signal to drive and stabilize the learning of a sequence of non-i.i.d. classification tasks. Experimental results confirm that SAM effectively enhances the performance (in some cases up to about twenty percent points) of state-of-the-art continual learning methods, both in class-incremental and task-incremental settings. Moreover, we show that attention-based modulation successfully encourages the learning of features that are more robust to the presence of spurious features and to adversarial attacks than baseline methods. Code is available at: https://github.com/perceivelab/SAM.
• Abstract（参考訳）: 本稿では,生物学的に評価可能な注意誘導変調手法SAMについて,連続的な学習環境における分類モデルの向上について述べる。 一次視覚野は分類のための対象多様体に寄与せず、初期注意バイアスが現代脳にまだ埋め込まれているという神経生理学的証拠に着想を得て、修飾信号として補助唾液濃度予測機能を用いて、非I.D.分類タスクの列の学習を駆動し、安定化させることを提案する。 実験の結果,SAMはクラス増分とタスク増分の両方において,最先端の継続的学習手法の性能(最大20%)を効果的に向上させることが確認された。 さらに,注意に基づく変調は,突発的特徴の存在や,ベースライン法よりも敵攻撃に強い特徴の学習を促進することが示唆された。 コードは、https://github.com/perceivelab/SAM.comで入手できる。

関連論文リスト

• Enhancing Generative Class Incremental Learning Performance with Model Forgetting Approach [50.36650300087987]
  本研究は, ジェネレーティブ・クラス・インクリメンタル・ラーニング(GCIL, Generative Class Incremental Learning)への新たなアプローチを提案する。 我々は, 忘れる機構の統合により, 新たな知識獲得におけるモデルの性能が著しく向上することを発見した。
  論文  参考訳（メタデータ） (2024-03-27T05:10:38Z)
• Boosting Few-Shot Learning with Disentangled Self-Supervised Learning and Meta-Learning for Medical Image Classification [8.975676404678374]
  低データ体制下で訓練されたモデルの性能と一般化能力を改善するための戦略を提案する。 提案手法は、自己教師付き学習環境において学習した特徴をアンタングル化して、下流タスクの表現の堅牢性を向上する事前学習段階から開始する。 次に、メタファインニングのステップを導入し、メタトレーニングとメタテストフェーズの関連クラスを活用するが、レベルは変化する。
  論文  参考訳（メタデータ） (2024-03-26T09:36:20Z)
• Incorporating Neuro-Inspired Adaptability for Continual Learning in Artificial Intelligence [59.11038175596807]
  継続的な学習は、現実世界に強い適応性を持つ人工知能を強化することを目的としている。 既存の進歩は主に、破滅的な忘れを克服するために記憶安定性を維持することに焦点を当てている。 本稿では,学習の可塑性を改善するため,パラメータ分布の古い記憶を適切に減衰させる汎用的手法を提案する。
  論文  参考訳（メタデータ） (2023-08-29T02:43:58Z)
• SRIL: Selective Regularization for Class-Incremental Learning [5.810252620242912]
  クラスインクリメンタルラーニングは、この課題を克服するために、可塑性と安定性のバランスをとる統合モデルを作成することを目的としている。 本稿では,従来の知識を維持しつつ,新たな知識を受け入れる選択正規化手法を提案する。 CIFAR-100, ImageNet-Subset, ImageNet-Full を用いて提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2023-05-09T05:04:35Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• Consistency-Based Semi-supervised Evidential Active Learning for Diagnostic Radiograph Classification [2.3545156585418328]
  CSEAL(Consistency-based Semi-supervised Evidential Active Learning)フレームワークについて紹介する。 我々は、証拠理論と主観的論理に基づく予測の不確実性を利用して、エンドツーエンドの統合アプローチを開発する。 本手法は, ラベル付きサンプルを少なくして, より稀な異常の精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-09-05T09:28:31Z)
• Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
  本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。 畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。 この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-03T19:24:25Z)
• MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
  近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。 本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。 特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
  論文  参考訳（メタデータ） (2021-07-23T06:57:08Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)
• Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant Disease Diagnosis [64.82680813427054]
  植物病は食料安全保障と作物生産に対する主要な脅威の1つである。 1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。 本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-17T09:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。