論文の概要: Prototype Augmented Hypernetworks for Continual Learning

• arxiv url: http://arxiv.org/abs/2505.07450v1
• Date: Mon, 12 May 2025 11:25:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.359866
• Title: Prototype Augmented Hypernetworks for Continual Learning
• Title（参考訳）: 連続学習のためのプロトタイプ強化ハイパーネット
• Authors: Neil De La Fuente, Maria Pilligua, Daniel Vidal, Albin Soutiff, Cecilia Curreli, Daniel Cremers, Andrey Barsky,
• Abstract要約: 連続学習(CL)は、先行知識を忘れずに一連のタスクを学習することを目的としているが、新しいタスクの更新は、しばしば以前に学んだ重みを上書きし、破滅的な忘れ(CF)を引き起こす。 本稿では,学習可能なタスクプロトタイプを前提とした単一ハイパーネットワークフレームワークであるPrototype-Augmented Hypernetworks (PAH)を提案する。 我々は,PAHが最先端性能を達成し,試料や頭部を保存せずに,それぞれ1.7%,4.4%の精度で74.5%,63.7%の精度を達成できることを実証した。
• 参考スコア（独自算出の注目度）: 29.852993223824747
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Continual learning (CL) aims to learn a sequence of tasks without forgetting prior knowledge, but gradient updates for a new task often overwrite the weights learned earlier, causing catastrophic forgetting (CF). We propose Prototype-Augmented Hypernetworks (PAH), a framework where a single hypernetwork, conditioned on learnable task prototypes, dynamically generates task-specific classifier heads on demand. To mitigate forgetting, PAH combines cross-entropy with dual distillation losses, one to align logits and another to align prototypes, ensuring stable feature representations across tasks. Evaluations on Split-CIFAR100 and TinyImageNet demonstrate that PAH achieves state-of-the-art performance, reaching 74.5 % and 63.7 % accuracy with only 1.7 % and 4.4 % forgetting, respectively, surpassing prior methods without storing samples or heads.
• Abstract（参考訳）: 連続学習(CL)は、先行知識を忘れずに一連のタスクを学習することを目的としているが、新しいタスクの勾配更新は、しばしば以前に学んだ重みを上書きし、破滅的な忘れ込み(CF)を引き起こす。 本稿では,学習可能なタスクプロトタイプを前提とした単一ハイパーネットワークフレームワークであるPrototype-Augmented Hypernetworks (PAH)を提案する。 忘れを和らげるために、PAHはクロスエントロピーと二重蒸留損失を組み合わせる。 Split-CIFAR100 と TinyImageNet の評価では、PAH は最先端のパフォーマンスを達成し、74.5 % と 63.7% の精度に到達し、それぞれ 1.7% と 4.4 % しか忘れていない。

関連論文リスト

• Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
  我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。 本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
  論文  参考訳（メタデータ） (2024-05-13T14:54:37Z)
• Hierarchical Side-Tuning for Vision Transformers [33.536948382414316]
  微調整された事前訓練された視覚変換器(ViTs)は、視覚認識タスクの強化に大きく貢献している。 PETLは、完全な微調整に比べてパラメータ更新が少なく、高いパフォーマンスを実現する可能性がある。 本稿では,多様な下流タスクへのVTモデルの転送を容易にする革新的PETL手法である階層側チューニング(HST)を紹介する。
  論文  参考訳（メタデータ） (2023-10-09T04:16:35Z)
• Task Relation Distillation and Prototypical Pseudo Label for Incremental Named Entity Recognition [23.69922938823477]
  InERのためのタスク関係蒸留法とプロトタイプ擬似ラベル(RDP)を提案する。 本手法は従来の最先端手法に比べて,マイクロF1のスコアが6.08%,マクロF1のスコアが7.71%増加し,大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-08-17T05:36:56Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Prior-Enhanced Few-Shot Segmentation with Meta-Prototypes [32.898636584823215]
  Few-shot segmentation (FSS) のパフォーマンスは、エピソードトレーニングとクラスワイドプロトタイプの導入によって広範囲に向上している。 本稿では,これらの制約に対処するために,メタプロトタイプを用いた事前拡張ネットワークを提案する。 PASCAL-5i$とCOCO-20i$では平均IoUスコアが60.79%、41.16%となり,5ショット設定では3.49%,5.64%に向上した。
  論文  参考訳（メタデータ） (2021-06-01T15:34:30Z)
• Meta-Generating Deep Attentive Metric for Few-shot Classification [53.07108067253006]
  本稿では,新しい数ショット学習タスクのための特定のメトリックを生成するための,新しい深度メタジェネレーション手法を提案する。 本研究では,各タスクの識別基準を生成するのに十分なフレキシブルな3層深い注意ネットワークを用いて,メトリクスを構造化する。 特に挑戦的なケースでは、最先端の競合他社よりも驚くほどパフォーマンスが向上しています。
  論文  参考訳（メタデータ） (2020-12-03T02:07:43Z)
• Propagate Yourself: Exploring Pixel-Level Consistency for Unsupervised Visual Representation Learning [60.75687261314962]
  我々は,高密度な特徴表現を学習するための画素レベルのプレテキストタスクを導入する。 ピクセル・ツー・プロパゲーション整合性タスクは、最先端のアプローチよりも優れた結果をもたらす。 結果は、ピクセルレベルでプリテキストタスクを定義する強力な可能性を示している。
  論文  参考訳（メタデータ） (2020-11-19T18:59:45Z)
• Lifelong Learning Without a Task Oracle [13.331659934508764]
  監視されたディープニューラルネットワークは、新しいタスクが学習されると、古いタスクの精度が大幅に低下することが知られている。 本稿では,メモリオーバーヘッドの少ないタスク割り当てマップの提案と比較を行う。 最高のパフォーマンスの変種は、平均的なパラメータメモリの増大を1.7%に抑えるだけである。
  論文  参考訳（メタデータ） (2020-11-09T21:30:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。