論文の概要: Closing the Oracle Gap: Increment Vector Transformation for Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2509.21898v1
• Date: Fri, 26 Sep 2025 05:31:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.206161
• Title: Closing the Oracle Gap: Increment Vector Transformation for Class Incremental Learning
• Title（参考訳）: Oracleのギャップを閉じる: インクリメンタルラーニングのためのインクリメンタルベクター変換
• Authors: Zihuan Qiu, Yi Xu, Fanman Meng, Runtong Zhang, Linfeng Xu, Qingbo Wu, Hongliang Li,
• Abstract要約: クラスインクリメンタルラーニング(CIL)は,従来学習していたクラスを忘れずに,新しいクラスの知識を逐次取得することを目的としている。 線形モード接続性(LMC)に関する最近の知見から着想を得て,インクリメントベクトル変換(IVT)を提案する。 IVTは、モデルのパラメータを、以前のタスク最適に線形接続を維持する変換されたソリューションに定期的にテレポートする。
• 参考スコア（独自算出の注目度）: 33.16249585231618
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Class Incremental Learning (CIL) aims to sequentially acquire knowledge of new classes without forgetting previously learned ones. Despite recent progress, current CIL methods still exhibit significant performance gaps compared to their oracle counterparts-models trained with full access to historical data. Inspired by recent insights on Linear Mode Connectivity (LMC), we revisit the geometric properties of oracle solutions in CIL and uncover a fundamental observation: these oracle solutions typically maintain low-loss linear connections to the optimum of previous tasks. Motivated by this finding, we propose Increment Vector Transformation (IVT), a novel plug-and-play framework designed to mitigate catastrophic forgetting during training. Rather than directly following CIL updates, IVT periodically teleports the model parameters to transformed solutions that preserve linear connectivity to previous task optimum. By maintaining low-loss along these connecting paths, IVT effectively ensures stable performance on previously learned tasks. The transformation is efficiently approximated using diagonal Fisher Information Matrices, making IVT suitable for both exemplar-free and exemplar-based scenarios, and compatible with various initialization strategies. Extensive experiments on CIFAR-100, FGVCAircraft, ImageNet-Subset, and ImageNet-Full demonstrate that IVT consistently enhances the performance of strong CIL baselines. Specifically, on CIFAR-100, IVT improves the last accuracy of the PASS baseline by +5.12% and reduces forgetting by 2.54%. For the CLIP-pre-trained SLCA baseline on FGVCAircraft, IVT yields gains of +14.93% in average accuracy and +21.95% in last accuracy. The code will be released.
• Abstract（参考訳）: クラスインクリメンタルラーニング(CIL)は,従来学習していたクラスを忘れずに,新しいクラスの知識を逐次取得することを目的としている。 近年の進歩にもかかわらず、現在のCIL手法は、歴史的データへの完全なアクセスで訓練されたオラクルのモデルと比較して、大きなパフォーマンスの差をみせている。 線形モード接続性 (LMC) に関する最近の知見に触発されて、私たちはCILにおけるオラクル溶液の幾何学的性質を再考し、基本的な観察を明らかにする。 この発見に触発されたインクリメントベクタートランスフォーメーション(IVT)は、トレーニング中の破滅的な忘れを軽減できる新しいプラグアンドプレイフレームワークである。 直接CIL更新に従うのではなく、IVTは定期的にモデルパラメータを変換されたソリューションにテレポートし、以前のタスク最適に線形接続する。 これらの接続経路に沿って低損失を維持することにより、IVTは、以前に学習したタスクの安定したパフォーマンスを効果的に保証する。 変換は対角的なフィッシャー情報行列を用いて効率よく近似され、IVTは模範のないシナリオと模範的なシナリオの両方に適合し、様々な初期化戦略と互換性がある。 CIFAR-100、FGVCAircraft、ImageNet-Subset、ImageNet-Fullの大規模な実験により、IVTは強力なCILベースラインの性能を一貫して向上することを示した。 具体的には、CIFAR-100では、IVTはPASSベースラインの最後の精度を+5.12%改善し、忘れを2.54%削減する。 FGVCAircraftのCLIP-pre-trained SLCAベースラインでは、IVTは平均精度が+14.93%、最終精度が+21.95%である。 コードはリリースされます。

関連論文リスト

• To Theoretically Understand Transformer-Based In-Context Learning for Optimizing CSMA [26.87533852488578]
  バイナリ指数バックオフ方式はWiFi 7で広く使われているが、動的チャネル環境下ではスループットが低下している。 最近のモデルベースアプローチは、既知のノード密度と固定されたノード密度の下でのバックオフ戦略を単純に最適化する。 本稿では、チャネルアクセスを最適化するためのトランスフォーマーベースのインコンテキスト学習(ICL)理論を初めて提案する。
  論文  参考訳（メタデータ） (2025-07-31T23:31:23Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• CLIP's Visual Embedding Projector is a Few-shot Cornucopia [45.93202559299953]
  最適化のために'external'パラメータを追加することなく、数ショットのCLIP適応のための代替手法を導入する。 視覚の埋め込みプロジェクション行列を微調整するだけで、すべてのベースラインよりも優れたパフォーマンスが得られることが分かりました。 この単純なアプローチはProLIPと呼ばれ、11個の数ショットの分類ベンチマーク、数ショットのクロスデータセットエンコーダ転送、ドメインの一般化、ベース・ツー・ニューなクラス一般化に最先端のパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2024-10-07T17:59:59Z)
• REP: Resource-Efficient Prompting for Rehearsal-Free Continual Learning [23.92661395403251]
  近年のリハーサルフリーな手法は,視覚関連連続学習(CL)とドリフトデータに優れ,資源効率に欠ける。 本稿では,Resource-Efficient Prompting(REP)を提案する。 提案手法は高速なプロンプト選択を用いて、注意深く設定されたモデルを用いて入力データを洗練する。
  論文  参考訳（メタデータ） (2024-06-07T09:17:33Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding [60.226644697970116]
  ドメイン分類は自然言語理解(NLU)の基本課題である 既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。 本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:46:16Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。