論文の概要: Dataset Knowledge Transfer for Class-Incremental Learning without Memory

• arxiv url: http://arxiv.org/abs/2110.08421v1
• Date: Sat, 16 Oct 2021 00:33:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 14:32:24.231818
• Title: Dataset Knowledge Transfer for Class-Incremental Learning without Memory
• Title（参考訳）: 記憶のないクラスインクリメンタル学習のためのデータセット知識伝達
• Authors: Habib Slim, Eden Belouadah, Adrian Popescu and Darian Onchis
• Abstract要約: 我々は,予測バイアス補正を適用して,記憶のないクラスインクリメンタル学習に取り組む。 メモリが許可され、過去のクラスのサンプルが必要なため、メモリなしで直接使用できない場合に提案される。 本稿では、参照とターゲットデータセット間のバイアス補正パラメータの転送を可能にする2段階の学習プロセスを提案する。
• 参考スコア（独自算出の注目度）: 12.569286058146343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Incremental learning enables artificial agents to learn from sequential data. While important progress was made by exploiting deep neural networks, incremental learning remains very challenging. This is particularly the case when no memory of past data is allowed and catastrophic forgetting has a strong negative effect. We tackle class-incremental learning without memory by adapting prediction bias correction, a method which makes predictions of past and new classes more comparable. It was proposed when a memory is allowed and cannot be directly used without memory, since samples of past classes are required. We introduce a two-step learning process which allows the transfer of bias correction parameters between reference and target datasets. Bias correction is first optimized offline on reference datasets which have an associated validation memory. The obtained correction parameters are then transferred to target datasets, for which no memory is available. The second contribution is to introduce a finer modeling of bias correction by learning its parameters per incremental state instead of the usual past vs. new class modeling. The proposed dataset knowledge transfer is applicable to any incremental method which works without memory. We test its effectiveness by applying it to four existing methods. Evaluation with four target datasets and different configurations shows consistent improvement, with practically no computational and memory overhead.
• Abstract（参考訳）: インクリメンタル学習により、人工知能はシーケンシャルデータから学習できる。 ディープニューラルネットワークを活用することで重要な進歩を遂げたが、漸進的な学習は非常に難しい。 これは特に過去のデータの記憶が許されず、破滅的な忘れ物が強い負の効果を持つ場合である。 我々は,過去のクラスと新しいクラスの予測を比較検討する手法である予測バイアス補正を適用することで,記憶のないクラス増進学習に取り組む。 過去のクラスのサンプルが必要なため、メモリが許可され、メモリなしで直接使用できない場合に提案された。 本稿では、参照とターゲットデータセット間のバイアス補正パラメータの転送を可能にする2段階の学習プロセスを提案する。 バイアス補正はまず、関連する検証メモリを持つ参照データセットにオフラインで最適化される。 得られた補正パラメータは、メモリが使用できないターゲットデータセットに転送される。 2つめの貢献は、通常の過去と新しいクラスモデリングではなく、インクリメンタルな状態ごとにパラメータを学習することでバイアス補正の微妙なモデリングを導入することである。 提案したデータセットの知識伝達は、メモリなしで機能するインクリメンタルメソッドに適用できる。 その効果を既存の4つの方法に適用して検証する。 4つのターゲットデータセットと異なる構成による評価は、事実上計算とメモリのオーバーヘッドがなく、一貫した改善を示している。

関連論文リスト

• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Remind of the Past: Incremental Learning with Analogical Prompts [30.333352182303038]
  即時チューニングにより,新しいデータを古いクラスに再マップするアナロジー生成機構を設計する。 これは、新しいクラスのサンプルのみを使用して、古いモデルのターゲットの古いクラスのフィーチャ分布を模倣する。 学習プロンプトは、歴史的プロトタイプの微調整による表現シフトを推定し、対処するためにさらに使用される。
  論文  参考訳（メタデータ） (2023-03-24T10:18:28Z)
• Preventing Zero-Shot Transfer Degradation in Continual Learning of Vision-Language Models [13.340759455910721]
  本稿では,視覚言語モデルの連続学習におけるゼロショット転送劣化を防止する新しい手法を提案する。 本手法は,従来のクラス増分学習環境において,他の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-03-12T10:28:07Z)
• Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers [71.70205894168039]
  そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。 本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T07:53:50Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Representation Memorization for Fast Learning New Knowledge without Forgetting [36.55736909586313]
  新しい知識を素早く学習する能力は、人間レベルの知性への大きな一歩だ。 新しいクラスやデータ配布を迅速かつ漸進的に学ぶ必要があるシナリオを考えます。 本稿では,2つの課題に対処するため,メモリベースのヘビアン適応を提案する。
  論文  参考訳（メタデータ） (2021-08-28T07:54:53Z)
• ZS-IL: Looking Back on Learned ExperiencesFor Zero-Shot Incremental Learning [9.530976792843495]
  データストリームで新しいクラスが発生するたびに過去の体験を提供するオンコール転送セットを提案します。 ZS-ILは、よく知られたデータセット(CIFAR-10、Tiny-ImageNet)において、Task-ILとClass-ILの両方で大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2021-03-22T22:43:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。