論文の概要: Match What Matters: Generative Implicit Feature Replay for Continual Learning

• arxiv url: http://arxiv.org/abs/2106.05350v1
• Date: Wed, 9 Jun 2021 19:29:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-11 14:23:10.805952
• Title: Match What Matters: Generative Implicit Feature Replay for Continual Learning
• Title（参考訳）: マッチング: 継続的な学習のための生成的意図的特徴リプレイ
• Authors: Kevin Thandiackal (1 and 2), Tiziano Portenier (2), Andrea Giovannini (1), Maria Gabrani (1), Orcun Goksel (2 and 3) ((1) IBM Research Europe, (2) ETH Zurich, (3) Uppsala University)
• Abstract要約: クラス増分学習のためのGenIFeR(Generative Implicit Feature Replay)を提案する。 主な目的は、GAN(Generative Adversarial Network)をトレーニングして、現実的な特徴を含む画像を生成することである。 我々は、GenIFeRが従来の生成画像と特徴再生の両方よりも優れていることを実証的に示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are prone to catastrophic forgetting when trained incrementally on different tasks. In order to prevent forgetting, most existing methods retain a small subset of previously seen samples, which in turn can be used for joint training with new tasks. While this is indeed effective, it may not always be possible to store such samples, e.g., due to data protection regulations. In these cases, one can instead employ generative models to create artificial samples or features representing memories from previous tasks. Following a similar direction, we propose GenIFeR (Generative Implicit Feature Replay) for class-incremental learning. The main idea is to train a generative adversarial network (GAN) to generate images that contain realistic features. While the generator creates images at full resolution, the discriminator only sees the corresponding features extracted by the continually trained classifier. Since the classifier compresses raw images into features that are actually relevant for classification, the GAN can match this target distribution more accurately. On the other hand, allowing the generator to create full resolution images has several benefits: In contrast to previous approaches, the feature extractor of the classifier does not have to be frozen. In addition, we can employ augmentations on generated images, which not only boosts classification performance, but also mitigates discriminator overfitting during GAN training. We empirically show that GenIFeR is superior to both conventional generative image and feature replay. In particular, we significantly outperform the state-of-the-art in generative replay for various settings on the CIFAR-100 and CUB-200 datasets.
• Abstract（参考訳）: ニューラルネットワークは、異なるタスクで漸進的にトレーニングすると、破滅的な忘れがちです。 忘れるのを防ぐため、既存のほとんどのメソッドは、前に見たサンプルの小さなサブセットを保持し、新しいタスクとの共同トレーニングに使用できる。 これは確かに有効であるが、データ保護規則などにより、常にそのようなサンプルを保存できるとは限らない。 このような場合、生成モデルを使用して、以前のタスクからの記憶を表す人工的なサンプルや特徴を作成することができる。 類似の方向性に従い、クラス増分学習のためのGenIFeR(Generative Implicit Feature Replay)を提案する。 主な目的は、GAN(Generative Adversarial Network)をトレーニングして、現実的な特徴を含む画像を生成することである。 ジェネレータは全解像度で画像を生成するが、識別器は継続的に訓練された分類器によって抽出された対応する特徴のみを見る。 分類器は、生画像を実際に分類に関連のある特徴に圧縮するので、GANはこのターゲット分布をより正確に一致させることができる。 一方、ジェネレータがフル解像度の画像を作成できるようにするには、いくつかの利点がある: 以前のアプローチとは対照的に、分類器の機能抽出器は凍結する必要がない。 さらに,画像の分類性能を向上させるだけでなく,gan訓練における判別器の過剰フィットを緩和する効果も期待できる。 我々は、GenIFeRが従来の生成画像と特徴再生の両方よりも優れていることを実証的に示す。 特に、CIFAR-100およびCUB-200データセットの様々な設定において、生成的再生における最先端性を大幅に上回る。

関連論文リスト

• Data-Independent Operator: A Training-Free Artifact Representation Extractor for Generalizable Deepfake Detection [105.9932053078449]
  本研究では,より一般的な人工物表現を捉えるのに,小型かつトレーニング不要なフィルタが十分であることを示す。 トレーニングソースとテストソースの両方に不偏があるため、未確認ソースに対して魅力的な改善を実現するために、Data-Independent Operator (DIO)と定義する。 我々の検出器は13.3%の大幅な改善を実現し、新しい最先端の性能を確立した。
  論文  参考訳（メタデータ） (2024-03-11T15:22:28Z)
• Ref-Diff: Zero-shot Referring Image Segmentation with Generative Models [68.73086826874733]
  本稿では,画像分割を参照するための新しい参照拡散分割器(Referring Diffusional segmentor, Ref-Diff)を提案する。 提案生成器がなければ、生成モデルだけで既存のSOTAの弱教師付きモデルに匹敵する性能を達成できることを実証する。 このことは、生成モデルがこのタスクに有益であり、より優れたセグメンテーションを参照するために識別モデルを補完できることを示している。
  論文  参考訳（メタデータ） (2023-08-31T14:55:30Z)
• Traditional Classification Neural Networks are Good Generators: They are Competitive with DDPMs and GANs [104.72108627191041]
  従来のニューラルネットワーク分類器は、最先端の生成モデルに匹敵する高品質な画像を生成することができることを示す。 マスクをベースとした再構成モジュールを提案し, 意味的勾配を意識し, 可視画像の合成を行う。 また,本手法は,画像テキスト基盤モデルに関して,テキスト・画像生成にも適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-27T11:25:35Z)
• Assessing Neural Network Robustness via Adversarial Pivotal Tuning [24.329515700515806]
  予め訓練された画像生成装置が、詳細で多様で逆転的な方法で画像のセマンティックな操作にどのように使用できるかを示す。 近年のGANに基づく光リアリスティック手法に着想を得て,Adversarial Pivotal Tuning (APT) と呼ばれる手法を提案する。 APTは、様々な事前訓練された分類器を騙した、幅広いクラス保存セマンティックイメージ操作が可能であることを実証する。
  論文  参考訳（メタデータ） (2022-11-17T18:54:35Z)
• Reinforcing Generated Images via Meta-learning for One-Shot Fine-Grained Visual Recognition [36.02360322125622]
  生成した画像と原画像を組み合わせるメタラーニングフレームワークを提案し,その結果の「ハイブリッド」訓練画像がワンショット学習を改善する。 実験では,1ショットのきめ細かい画像分類ベンチマークにおいて,ベースラインよりも一貫した改善が示された。
  論文  参考訳（メタデータ） (2022-04-22T13:11:05Z)
• Ensembling with Deep Generative Views [72.70801582346344]
  生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。 そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。 StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
  論文  参考訳（メタデータ） (2021-04-29T17:58:35Z)
• Counterfactual Generative Networks [59.080843365828756]
  画像生成過程を直接監督せずに訓練する独立した因果機構に分解することを提案する。 適切な誘導バイアスを活用することによって、これらのメカニズムは物体の形状、物体の質感、背景を解き放つ。 その結果, 偽画像は, 元の分類タスクにおける性能の低下を伴い, 分散性が向上することが示された。
  論文  参考訳（メタデータ） (2021-01-15T10:23:12Z)
• Generative Hierarchical Features from Synthesizing Images [65.66756821069124]
  画像合成の学習は、広範囲のアプリケーションにまたがって一般化可能な顕著な階層的な視覚的特徴をもたらす可能性があることを示す。 生成的階層的特徴(Generative Hierarchical Feature, GH-Feat)と呼ばれるエンコーダが生成する視覚的特徴は、生成的タスクと識別的タスクの両方に強い伝達性を有する。
  論文  参考訳（メタデータ） (2020-07-20T18:04:14Z)
• Generative Feature Replay For Class-Incremental Learning [46.88667212214957]
  タスクIDが推論時に未知であることを意味するクラスインクリメンタル設定を考える。 古いクラスと新しいクラスの不均衡は通常、ネットワークの最新のクラスへのバイアスをもたらす。 本稿では,前向きな表現を必要としない生成的特徴リプレイに基づくソリューションを提案する。
  論文  参考訳（メタデータ） (2020-04-20T10:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。