Fugu-MT 論文翻訳(概要): Selective Backpropagation for Efficient Few-Shot Class-Incremental Learning

論文の概要: Selective Backpropagation for Efficient Few-Shot Class-Incremental Learning

arxiv url: http://arxiv.org/abs/2610.04003v1
Date: Fri, 02 Oct 2026 20:06:45 GMT
ステータス: 情報取得中
システム内更新日: 2026-10-06 20:27:46.430441
Title: Selective Backpropagation for Efficient Few-Shot Class-Incremental Learning
Title（参考訳）: 効率的なFew-Shotクラスインクリメンタル学習のための選択的バックプロパゲーション
Abstract要約: FSCIL(Few-Shot Class-Incremental Learning)は、限られたサンプルから新しいクラスを継続的に学習するモデルを必要とする。単純な微調整は計算的に効率的だが、破滅的な忘れ込みに悩まされている。本稿では,このギャップを埋める決定論的パラメータ予算フレームワークである選択的バックプロパゲーション(SBP)を提案する。
参考スコア（独自算出の注目度）: 4.243926243206826
License:
Abstract: Few-Shot Class-Incremental Learning (FSCIL) requires models to continuously learn new classes from limited samples while retaining prior knowledge, under strict constraints on compute and memory. Existing approaches lie along a difficult trade-off: simple fine-tuning is computationally efficient but suffers from catastrophic forgetting, replay-based methods mitigate forgetting at the cost of substantial compute and memory, and exemplar-free methods often reduce forgetting by freezing most of the backbone, improving efficiency at the expense of adaptability. We propose Selective Backpropagation (SBP), a deterministic parameter budgeting framework that bridges this gap. SBP restricts gradient updates to a pre-allocated subset of network parameters, freezing past knowledge and preserving unbiased capacity for future learning, enabling rapid adaptation without costly mask optimization. We show that SBP achieves strong performance across standard FSCIL benchmarks while requiring training time close to that of naive fine-tuning and substantially lower training time than prior SOTA methods. Crucially, our experiments expose a limitation of standard FSCIL evaluation: performance on short, distribution-consistent benchmarks does not necessarily predict behavior under distribution shift or over substantially longer learning horizons. We therefore evaluate FSCIL methods in cross-domain settings and over an 80-session ImageNet-1K stream. SBP remains strong across these regimes while maintaining low training cost, providing a favorable stability-plasticity-efficiency trade-off. Our code is available at https://github.com/PaInt-Lab/sbp-main-public.
Abstract（参考訳）: FSCIL(Few-Shot Class-Incremental Learning)は、計算とメモリの厳しい制約の下で、事前知識を維持しながら、限られたサンプルから新しいクラスを継続的に学習するモデルを必要とする。単純な微調整は計算的に効率的だが、破滅的な忘れ込みに悩まされ、リプレイベースの手法は実質的な計算とメモリのコストで忘れを軽減し、典型的なフリーメソッドはバックボーンの大部分を凍結することで忘れを減らし、適応性を犠牲にして効率を向上する。本稿では,このギャップを埋める決定論的パラメータ予算フレームワークである選択的バックプロパゲーション(SBP)を提案する。 SBPは、事前に割り当てられたネットワークパラメータのサブセットへの勾配更新を制限し、過去の知識を凍結し、将来の学習のためにバイアスのないキャパシティを保存する。 SBPは,従来のSOTA法よりも訓練時間が少なく,簡単な微調整の時間に近い訓練時間を要しながら,標準のFSCILベンチマークで高い性能を実現していることを示す。短時間で分布に一貫性のあるベンチマークでは、分布シフトやかなり長い学習地平線の下での振る舞いを必ずしも予測しない。そこで我々は,FSCIL法を80セッションのImageNet-1Kストリーム上で,クロスドメイン設定で評価する。 SBPは、低い訓練コストを維持しながら、これらの体制全体で強力であり、良好な安定性-塑性-効率のトレードオフを提供する。私たちのコードはhttps://github.com/PaInt-Lab/sbp-main-publicで公開されています。

関連論文リスト

Towards Realistic Class-Incremental Learning with Free-Flow Increments [17.558920457942936]
本稿では,自由フロー到着時のCIL学習のためのモデルに依存しないフレームワークを提案する。これは、サンプル周波数重み付き損失を一様に集約されたクラス条件監督に置き換えるクラスワイド平均(CWM)の目的を含む。 FFCIL下での各種CIL基線における明らかな性能劣化を実験により確認した。
論文参考訳（メタデータ） (2026-04-03T06:19:58Z)
Breaking Forgetting: Training-Free Few-Shot Class-Incremental Learning via Conditional Diffusion [2.1735063293253565]
本研究では,従来の勾配更新処理を拡散に基づく生成遷移に置き換える条件拡散駆動型FSCILフレームワークを提案する。また,大規模言語モデルによって自動生成される自然言語記述に視覚的特徴を統合するマルチモーダル学習戦略を導入する。
論文参考訳（メタデータ） (2025-11-23T16:13:06Z)
Forward-Only Continual Learning [8.873948519614244]
破滅的な忘れ物は、継続的な学習における中心的な課題である。本稿では,フォロ(FoRo)を提案する。実験により、FoRoは平均的な忘れを著しく減らし、精度を向上することが示された。
論文参考訳（メタデータ） (2025-09-01T15:10:38Z)
Improving Long-term Autoregressive Spatiotemporal Predictions: A Proof of Concept with Fluid Dynamics [10.71350538032054]
複雑なシステムでは、エラーの蓄積によって長期的な精度が劣化することが多い。我々はPushForwardフレームワークを提案する。PushForwardフレームワークは、マルチステップ学習を実現しつつ、ワンステップのトレーニングを継続する。 SPFはモデル予測から補足的データセットを構築し、取得戦略を通じて真実と組み合わせる。
論文参考訳（メタデータ） (2025-08-25T23:51:18Z)
EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
論文参考訳（メタデータ） (2025-06-14T05:19:58Z)
ESLM: Risk-Averse Selective Language Modeling for Efficient Pretraining [53.893792844055106]
大規模言語モデルの事前学習は計算集約的であるが、多くのトークンが学習にわずかに寄与し、非効率になる。 Selective Efficient Language Modelingは、オンライントークンレベルのバッチ選択を行うことで、トレーニング効率と分散ロバスト性を改善するリスク認識アルゴリズムである。 GPT-2プレトレーニング実験の結果、ESLMはベースラインに比べて複雑度と下流性能の両面を維持・改善しながら、トレーニングFLOPを著しく低減することが示された。
論文参考訳（メタデータ） (2025-05-26T12:23:26Z)
Forget Forgetting: Continual Learning in a World of Abundant Memory [55.64184779530581]
継続的な学習は伝統的に、模範記憶の最小化に重点を置いてきた。本稿では、より現実的な体制を探求することによって、このパラダイムに挑戦する。モデルが以前のタスクに偏り、新しいタスクを学ぶのに苦労するようになるにつれて、中心的な課題が安定性から可塑性へと変化していくことが分かっています。
論文参考訳（メタデータ） (2025-02-11T05:40:52Z)
SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
論文参考訳（メタデータ） (2024-08-15T17:50:07Z)
Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文参考訳（メタデータ） (2024-01-17T09:01:29Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。