論文の概要: OvA-INN: Continual Learning with Invertible Neural Networks

• arxiv url: http://arxiv.org/abs/2006.13772v1
• Date: Wed, 24 Jun 2020 14:40:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 09:41:31.765932
• Title: OvA-INN: Continual Learning with Invertible Neural Networks
• Title（参考訳）: OvA-INN: 可逆ニューラルネットワークによる連続学習
• Authors: G. Hocquet, O. Bichler, D. Querlioz
• Abstract要約: OvA-INNは、一度に1つのクラスを学習でき、以前のデータを格納しない。 特徴抽出器上にInvertible Networkを積み重ねることで,事前学習モデルの活用が可能であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the field of Continual Learning, the objective is to learn several tasks one after the other without access to the data from previous tasks. Several solutions have been proposed to tackle this problem but they usually assume that the user knows which of the tasks to perform at test time on a particular sample, or rely on small samples from previous data and most of them suffer of a substantial drop in accuracy when updated with batches of only one class at a time. In this article, we propose a new method, OvA-INN, which is able to learn one class at a time and without storing any of the previous data. To achieve this, for each class, we train a specific Invertible Neural Network to extract the relevant features to compute the likelihood on this class. At test time, we can predict the class of a sample by identifying the network which predicted the highest likelihood. With this method, we show that we can take advantage of pretrained models by stacking an Invertible Network on top of a feature extractor. This way, we are able to outperform state-of-the-art approaches that rely on features learning for the Continual Learning of MNIST and CIFAR-100 datasets. In our experiments, we reach 72% accuracy on CIFAR-100 after training our model one class at a time.
• Abstract（参考訳）: 継続的学習の分野では、以前のタスクのデータにアクセスせずに、複数のタスクを次々に学ぶことが目的である。 この問題に対処するために、いくつかのソリューションが提案されているが、通常は、テスト時に特定のサンプルで実行するタスクのどれかをユーザが知っているか、あるいは以前のデータから小さなサンプルを頼りにしていると仮定し、そのほとんどは、一度に1つのクラスのバッチで更新した場合にかなりの精度低下を被っている。 本稿では,1つのクラスを一度に学習でき,前のデータを保存せずに学習できる新しい手法であるova-innを提案する。 これを達成するために、各クラスに対して、特定の可逆ニューラルネットワークを訓練し、関連する特徴を抽出することで、このクラスの可能性を計算する。 テスト時には、最も高い確率で予測されるネットワークを識別することで、サンプルのクラスを予測できる。 本手法では,特徴抽出器上にInvertible Networkを積み重ねることで,事前学習モデルの活用が可能であることを示す。 このようにして、MNISTとCIFAR-100データセットの継続的な学習のための機能学習に依存する、最先端のアプローチよりも優れています。 実験では,CIFAR-100を1つのクラスでトレーニングした結果,精度が72%に達した。

関連論文リスト

• Learning Prompt with Distribution-Based Feature Replay for Few-Shot Class-Incremental Learning [56.29097276129473]
  分散型特徴再現(LP-DiF)を用いた学習プロンプト(Learning Prompt)という,シンプルで効果的なフレームワークを提案する。 新しいセッションでは,学習可能なプロンプトが古い知識を忘れないようにするため,擬似機能的リプレイ手法を提案する。 新しいセッションに進むと、古いクラスのディストリビューションと現在のセッションのトレーニングイメージを組み合わせて擬似フィーチャーをサンプリングして、プロンプトを最適化する。
  論文  参考訳（メタデータ） (2024-01-03T07:59:17Z)
• Prior-Free Continual Learning with Unlabeled Data in the Wild [24.14279172551939]
  本稿では,新しいタスクの学習モデルを段階的に更新するPFCL法を提案する。 PFCLはタスクのアイデンティティや以前のデータを知ることなく、新しいタスクを学習する。 実験の結果,PFCL法は3つの学習シナリオすべてにおいて,忘れを著しく軽減することがわかった。
  論文  参考訳（メタデータ） (2023-10-16T13:59:56Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• A Simple Baseline that Questions the Use of Pretrained-Models in Continual Learning [30.023047201419825]
  いくつかの手法は、事前訓練された表現に基づいて連続学習機構を設計し、継続学習のトレーニング中に最小限のアップデートやバックボーンモデルの更新を許可しない。 我々は、事前訓練された特徴抽出器自体が、Split-CIFAR100およびCoRe 50ベンチマーク上での競争力や継続学習性能を達成するのに十分な強度を持つと論じる。 このベースラインは10-Split-CIFAR-100で88.53%を達成した。
  論文  参考訳（メタデータ） (2022-10-10T04:19:53Z)
• A Multi-Head Model for Continual Learning via Out-of-Distribution Replay [16.189891444511755]
  連続学習(CL)における破滅的忘れ(CF)に対する多くのアプローチが提案されている。 本稿では,MOREと呼ばれるトランスフォーマーネットワークを用いて,タスク毎に個別の分類器(頭部)を構築する手法を提案する。
  論文  参考訳（メタデータ） (2022-08-20T19:17:12Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Class-incremental Learning using a Sequence of Partial Implicitly Regularized Classifiers [0.0]
  クラス増分学習では、トレーニングデータ全体にアクセスすることなく、複数のクラスを順次学習することが目的である。 CIFAR100データセットの実験では、提案手法がSOTAの性能を大きなマージンで向上させることが示された。
  論文  参考訳（メタデータ） (2021-04-04T10:02:45Z)
• Deep Active Learning via Open Set Recognition [0.0]
  多くのアプリケーションでは、データは簡単に取得できるが、顕著な例を示すのに高価で時間がかかる。 オープンセット認識問題として能動的学習を定式化する。 現在のアクティブな学習方法とは異なり、我々のアルゴリズムはタスクラベルを必要とせずにタスクを学習することができる。
  論文  参考訳（メタデータ） (2020-07-04T22:09:17Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。