論文の概要: Balancing Stability and Plasticity in Sequentially Trained Early-Exiting Neural Networks

• arxiv url: http://arxiv.org/abs/2605.05358v1
• Date: Wed, 06 May 2026 18:36:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.374079
• Title: Balancing Stability and Plasticity in Sequentially Trained Early-Exiting Neural Networks
• Title（参考訳）: 逐次学習ニューラルネットにおける平衡安定性と塑性
• Authors: Alaa Zniber, Ouassim Karrakchou, Mounir Ghogho,
• Abstract要約: 早期に出現するニューラルネットワークは、中間分類器で入力を出力することで適応推論を可能にする。 モデルの異なるレベルで動作する2つの代替手法を提案する。 標準ベンチマークの実験は、我々のアプローチが早期終了性能を一貫して改善していることを示している。
• 参考スコア（独自算出の注目度）: 11.704570155438887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Early-exiting neural networks enable adaptive inference by allowing inputs to exit at intermediate classifiers, reducing computation for easy samples while maintaining high accuracy. In practice, exits can be trained sequentially by incrementally adding them to a shared backbone; however, this sequential training can cause newly introduced exits to interfere with previously learned ones, degrading the performance of earlier classifiers. We address this problem by retaining the knowledge embedded in existing exits while allowing new ones to specialize. We propose two alternative approaches that operate at different levels of the model. The first constrains learning by protecting parameters that are important for previously trained exits, while the second preserves the output distributions of earlier exits as the network adapts. These alternatives directly reflect the stability-plasticity trade-off studied in continual learning. Accordingly, we leverage \textit{Elastic Weight Consolidation} to constrain critical weights and \textit{Learning without Forgetting} to preserve output distributions. Experiments on standard benchmarks show that our approaches consistently improve early-exit performance, achieving higher accuracy over existing sequential training methods and significant performance speedups at low computational budgets.
• Abstract（参考訳）: 早期に出現するニューラルネットワークは、中間分類器で入力を出力し、高精度を維持しながら簡単なサンプルの計算を減らし、適応推論を可能にする。 実際には、エグジットは、共有バックボーンにインクリメンタルに追加することで、順次トレーニングすることができるが、このシーケンシャルトレーニングは、新しく導入されたエグジットを以前に学んだものと干渉させ、初期の分類器の性能を低下させる可能性がある。 既存のエグジットに埋め込まれた知識を維持しながら,新たなエグジットを専門化することで,この問題に対処する。 モデルの異なるレベルで動作する2つの代替手法を提案する。 第1の制約は、以前に訓練された出口で重要なパラメータを保護し、第2の制約は、ネットワークが適応するにつれて、以前の出口の出力分布を保存することである。 これらの代替案は、連続学習において研究された安定性と塑性のトレードオフを直接反映している。 そこで,<textit{Elastic Weight Consolidation} を利用して臨界重みを制約し,<textit{Learning without Forgetting} を出力分布を保存する。 標準ベンチマーク実験により,従来の逐次訓練法よりも高い精度,低計算予算での大幅な性能向上を実現し,早期終了性能の向上が図られた。

関連論文リスト

• Task Switching Without Forgetting via Proximal Decoupling [43.88767637201092]
  継続的な学習において、最大の課題は、古い知識を忘れずに新しい情報を学ぶことである。 一般的な解決策は、このトレードオフを正規化を通じて解決し、以前のタスクに不可欠なパラメータの変更を罰する。 本稿では,作業者の分割によるタスク学習と安定性の強化を分離するアプローチを提案する。
  論文  参考訳（メタデータ） (2026-04-20T21:28:13Z)
• Online Bayesian Imbalanced Learning with Bregman-Calibrated Deep Networks [0.7106986689736825]
  本報告では、クラス優先の仮定から確率比の推定を分離する原則的フレームワークであるOBIL(TextitOnline Bayesian Im Balanced Learning)を提案する。 我々のアプローチは、ブレグマンの発散と適切なスコアリングルールとの確立された接続に基づいて、そのような損失で訓練されたディープネットワークが後続確率推定を生成することを示す。 これらの確率比の推定は、クラス事前およびコスト構造における任意の変化の下でも有効であり、最適なベイズ決定のためのしきい値調整のみを必要とすることを証明している。
  論文  参考訳（メタデータ） (2026-02-08T21:23:00Z)
• Boosted Training of Lightweight Early Exits for Optimizing CNN Image Classification Inference [47.027290803102666]
  我々は、分岐学習と推論時データ分布を整合させるシーケンシャルなトレーニング手法を導入する。 ResNet18バックボーンによるCINIC-10データセットの実験では、BTS-EEが非ブートトレーニングを一貫して上回っていることが示されている。 これらの結果は,産業検査,組込みビジョン,UAVに基づく監視などの応用において,実用的効率の向上をもたらす。
  論文  参考訳（メタデータ） (2025-09-10T06:47:49Z)
• Training of Spiking Neural Networks with Expectation-Propagation [9.24888258922809]
  スパイキングニューラルネットワーク(SNN)のトレーニングのための統一メッセージパッシングフレームワークを提案する。 本手法は,ネットワークパラメータの辺り分布を学習し,隠れ層の出力などのパラメータの辺縁化を同時に行うことができる。
  論文  参考訳（メタデータ） (2025-06-30T11:59:56Z)
• Instance-dependent Early Stopping [57.912273923450726]
  本稿では,早期停止機構をトレーニングセット全体からインスタンスレベルに適応させる,インスタンス依存早期停止(IES)手法を提案する。 IES は、損失値の2階差が 0 付近の小さな範囲に留まっている場合、インスタンスをマスタードとみなす。 IESは、モデルのテスト精度と転送学習性能を維持したり、わずかに改善したりしながら、バックプロパゲーションインスタンスを10%から50%削減することができる。
  論文  参考訳（メタデータ） (2025-02-11T13:34:09Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Toward Understanding BERT-Like Pre-Training for DNA Foundation Models [78.48760388079523]
  既存のDNA配列の事前訓練方法は、NLPからのBERT事前訓練の直接的な採用に依存している。 マスク境界を連続的に拡張することにより,BERTライクな事前学習作業の難易度を徐々に向上させるRandomMaskという新しい手法を提案する。 RandomMaskは、マシューのエピジェネティック・マーク・予測の相関係数の68.16%を突破し、ベースラインの19.85%を突破した。
  論文  参考訳（メタデータ） (2023-10-11T16:40:57Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Two-phase Pseudo Label Densification for Self-training based Domain Adaptation [93.03265290594278]
  TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
  論文  参考訳（メタデータ） (2020-12-09T02:35:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。