Fugu-MT 論文翻訳(概要): Out-of-distribution forgetting: vulnerability of continual learning to intra-class distribution shift

論文の概要: Out-of-distribution forgetting: vulnerability of continual learning to intra-class distribution shift

arxiv url: http://arxiv.org/abs/2306.00427v2
Date: Thu, 4 Jul 2024 12:56:44 GMT
ステータス: 処理完了
システム内更新日: 2024-07-09 01:21:29.073502
Title: Out-of-distribution forgetting: vulnerability of continual learning to intra-class distribution shift
Title（参考訳）: アウト・オブ・ディストリビューションの忘れ方--クラス内分布シフトに対する継続学習の脆弱性
Authors: Liangxuan Guo, Yang Chen, Shan Yu,
Abstract要約: 連続学習(CL)は、人工ニューラルネットワークをオープン環境で動作させるための重要な技術である。共同学習において、意図的な攻撃や環境摂動はネットワークの一般化能力を著しく損なう。連続学習環境におけるOOD問題によって引き起こされた破滅的忘れの特殊な形態を報告する。
参考スコア（独自算出の注目度）: 11.64691202489927
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Continual learning (CL) is an important technique to allow artificial neural networks to work in open environments. CL enables a system to learn new tasks without severe interference to its performance on old tasks, i.e., overcome the problems of catastrophic forgetting. In joint learning, it is well known that the out-of-distribution (OOD) problem caused by intentional attacks or environmental perturbations will severely impair the ability of networks to generalize. In this work, we reported a special form of catastrophic forgetting raised by the OOD problem in continual learning settings, and we named it out-of-distribution forgetting (OODF). In continual image classification tasks, we found that for a given category, introducing an intra-class distribution shift significantly impaired the recognition accuracy of CL methods for that category during subsequent learning. Interestingly, this phenomenon is special for CL as the same level of distribution shift had only negligible effects in the joint learning scenario. We verified that CL methods without dedicating subnetworks for individual tasks are all vulnerable to OODF. Moreover, OODF does not depend on any specific way of shifting the distribution, suggesting it is a risk for CL in a wide range of circumstances. Taken together, our work identified an under-attended risk during CL, highlighting the importance of developing approaches that can overcome OODF. Code available: \url{https://github.com/Hiroid/OODF}
Abstract（参考訳）: 連続学習(CL)は、人工ニューラルネットワークをオープン環境で動作させるための重要な技術である。 CLは、古いタスクのパフォーマンスに深刻な干渉を伴わずに、新しいタスクを学習することを可能にする。共同学習においては、意図的な攻撃や環境摂動によるアウト・オブ・ディストリビューション(OOD)問題がネットワークの一般化能力を著しく損なうことが知られている。本研究では,OOD問題によって引き起こされた破滅的忘れを連続学習環境において特別な形で報告し,それをOODF(out-of-distriion forgetting)と名付けた。連続的な画像分類タスクにおいて、クラス内分布シフトを導入すると、その後の学習において、そのカテゴリに対するCLメソッドの認識精度が著しく低下することを発見した。興味深いことに、この現象はCLにとって特別な現象であり、同じレベルの分布シフトが、共同学習シナリオにおいて無視できる効果しかなかった。我々は,個々のタスクにサブネットを使わずにCLメソッドがOODFに対して脆弱であることを検証した。さらに、OODFは分布をシフトする方法に依存せず、幅広い状況においてCLのリスクを示唆している。共同で研究を行い、OODFを克服できるアプローチを開発することの重要性を強調した。コードは: \url{https://github.com/Hiroid/OODF}

関連論文リスト

Order parameters and phase transitions of continual learning in deep neural networks [6.349503549199403]
継続学習(CL)により、動物は事前知識を消去することなく新しいタスクを学習することができる。ニューラルネットワーク(NN)におけるCLは、破滅的な忘れが原因で困難であり、新しい学習は古いタスクのパフォーマンスを低下させる。本稿では,ネットワークの入出力マッピングがタスク列を学習する際に特徴付ける,深層広帯域NNにおけるCLの統計力学理論を提案する。
論文参考訳（メタデータ） (2024-07-14T20:22:36Z)
CLAP4CLIP: Continual Learning with Probabilistic Finetuning for Vision-Language Models [23.398619576886375]
継続学習(CL)は、ディープラーニングが学習したものを保持しながら、新しい知識を学ぶのを支援することを目的としている。タスクごとの視覚誘導テキスト機能に対する確率的モデリングフレームワークであるCLAP(Continuous LeArning with Probabilistic Finetuning)を提案する。
論文参考訳（メタデータ） (2024-03-28T04:15:58Z)
NPCL: Neural Processes for Uncertainty-Aware Continual Learning [26.642662729915234]
連続学習(CL)は、新しいタスクによる忘れを制限しながら、ストリーミングデータ上でディープニューラルネットワークを効率的にトレーニングすることを目的としている。本稿では,異なるタスクを関数上の確率分布にエンコードするメタラーナーのクラスである,ニューラルプロセス(NP)を用いたCLタスクの処理を提案する。
論文参考訳（メタデータ） (2023-10-30T05:10:00Z)
CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文参考訳（メタデータ） (2023-02-02T04:27:54Z)
Bio-Inspired, Task-Free Continual Learning through Activity Regularization [3.5502600490147196]
継続的学習アプローチは通常、個別のタスク境界を必要とする。我々は神経科学からインスピレーションを得ており、忘れるのを防ぐために、スパースで重複しない神経表現が提案されている。空間性に加えて,各層に横方向のリカレント接続を導入し,事前学習した表現をさらに保護する。本手法は,タスク境界に関する情報を必要とせずに,弾性重み統合やシナプスインテリジェンスなどのよく知られたCL手法と類似した性能を実現する。
論文参考訳（メタデータ） (2022-12-08T15:14:20Z)
PatchMix Augmentation to Identify Causal Features in Few-shot Learning [55.64873998196191]
少ないショット学習は、十分なカテゴリをラベル付けしたデータに基づいて学習した知識を、少ない既知の情報を持つ新しいカテゴリに転送することを目的としている。我々はPatchMixと呼ばれる新しいデータ拡張戦略を提案し、この急激な依存関係を壊すことができる。このような拡張メカニズムが,既存のメカニズムと異なり,因果的特徴を識別可能であることを示す。
論文参考訳（メタデータ） (2022-11-29T08:41:29Z)
Beyond Supervised Continual Learning: a Review [69.9674326582747]
連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
論文参考訳（メタデータ） (2022-08-30T14:44:41Z)
A Study of Continual Learning Methods for Q-Learning [78.6363825307044]
本稿では、強化学習(RL)シナリオにおける継続学習(CL)手法の使用に関する実証的研究について述べる。この結果から,専用CL法は「経験的再生」のベースライン手法と比較して学習を著しく改善できることがわかった。
論文参考訳（メタデータ） (2022-06-08T14:51:52Z)
Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
論文参考訳（メタデータ） (2021-06-24T05:19:26Z)
Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文参考訳（メタデータ） (2020-12-31T08:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。