論文の概要: Confidence-gated training for efficient early-exit neural networks

• arxiv url: http://arxiv.org/abs/2509.17885v1
• Date: Mon, 22 Sep 2025 15:18:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.457301
• Title: Confidence-gated training for efficient early-exit neural networks
• Title（参考訳）: 効率的な早期排他ニューラルネットワークのための信頼誘導型トレーニング
• Authors: Saad Mokssit, Ouassim Karrakchou, Alejandro Mousist, Mounir Ghogho,
• Abstract要約: 初期段階のニューラルネットワークは、中間層での確実な予測を可能にすることにより、推論コストを低減する。 我々は,前回の出口が故障した場合のみ,より深い出口からの勾配を条件的に伝播させるパラダイムである信頼性訓練(CGT)を提案する。
• 参考スコア（独自算出の注目度）: 49.78598138251519
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Early-exit neural networks reduce inference cost by enabling confident predictions at intermediate layers. However, joint training often leads to gradient interference, with deeper classifiers dominating optimization. We propose Confidence-Gated Training (CGT), a paradigm that conditionally propagates gradients from deeper exits only when preceding exits fail. This encourages shallow classifiers to act as primary decision points while reserving deeper layers for harder inputs. By aligning training with the inference-time policy, CGT mitigates overthinking, improves early-exit accuracy, and preserves efficiency. Experiments on the Indian Pines and Fashion-MNIST benchmarks show that CGT lowers average inference cost while improving overall accuracy, offering a practical solution for deploying deep models in resource-constrained environments.
• Abstract（参考訳）: 初期段階のニューラルネットワークは、中間層での確実な予測を可能にすることにより、推論コストを低減する。 しかし、ジョイントトレーニングはしばしば勾配干渉を引き起こし、より深い分類器が最適化を支配している。 我々は,前回の出口が故障した場合のみ,より深い出口からの勾配を条件的に伝播させるパラダイムである信頼性訓練(CGT)を提案する。 これにより、浅い分類器が第一決定点として振る舞うのを奨励し、より深い層を保存して入力を困難にします。 トレーニングを推論時ポリシーと整合させることで、CGTは過度に考え直し、早期退行精度を改善し、効率を保ちます。 Indian PinesとFashion-MNISTベンチマークの実験では、CGTは全体の精度を改善しながら平均推論コストを下げ、リソース制約のある環境にディープモデルをデプロイするための実用的なソリューションを提供する。

関連論文リスト

• Boosted Training of Lightweight Early Exits for Optimizing CNN Image Classification Inference [47.027290803102666]
  我々は、分岐学習と推論時データ分布を整合させるシーケンシャルなトレーニング手法を導入する。 ResNet18バックボーンによるCINIC-10データセットの実験では、BTS-EEが非ブートトレーニングを一貫して上回っていることが示されている。 これらの結果は,産業検査,組込みビジョン,UAVに基づく監視などの応用において,実用的効率の向上をもたらす。
  論文  参考訳（メタデータ） (2025-09-10T06:47:49Z)
• A Survey of Early Exit Deep Neural Networks in NLP [5.402030962296633]
  ディープニューラルネットワーク(DNN)は、幅広いタスクにわたるアートパフォーマンスを実現するために、ますます大きくなっている。 高い計算要求により、リソース制約のあるアプリケーションには適さない。 初期のエグジット戦略は、適応推論を有効にすることで、有望な解決策を提供する。
  論文  参考訳（メタデータ） (2025-01-13T20:08:52Z)
• Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters [69.24377241408851]
  ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。 本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
  論文  参考訳（メタデータ） (2023-10-11T10:21:34Z)
• Pre-Pruning and Gradient-Dropping Improve Differentially Private Image Classification [9.120531252536617]
  本稿では,テキストプリプルーニングとテキストグラディエントドロップを用いた新しいトレーニングパラダイムを導入し,パラメータ空間の削減と拡張性の向上を図る。 トレーニングパラダイムでは,プレプニング率と勾配ドロップ率,プライバシ損失,分類精度の間に緊張関係が生じる。
  論文  参考訳（メタデータ） (2023-06-19T14:35:28Z)
• Back to Basics: Efficient Network Compression via IMP [22.586474627159287]
  イテレーティブ・マグニチュード・プルーニング(IMP)は、ネットワーク・プルーニングにおける最も確立されたアプローチの1つである。 IMPは、トレーニングフェーズにスパーシフィケーションを組み込まないことで、最適以下の状態に達するとしばしば主張される。 再学習のためのSLRを用いたIMPは、最先端のプルーニング訓練手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-11-01T11:23:44Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Two-phase Pseudo Label Densification for Self-training based Domain Adaptation [93.03265290594278]
  TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
  論文  参考訳（メタデータ） (2020-12-09T02:35:25Z)
• BERT Loses Patience: Fast and Robust Inference with Early Exit [91.26199404912019]
  本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。 提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
  論文  参考訳（メタデータ） (2020-06-07T13:38:32Z)
• TRP: Trained Rank Pruning for Efficient Deep Neural Networks [69.06699632822514]
  低位近似とトレーニングを交互に行うTrated Rank Pruning (TRP)を提案する。 サブ段階降下により最適化された核正則化を利用して、TRPの低位化をさらに促進する。 TRPトレーニングネットワークは本質的に低ランク構造であり、無視可能な性能損失と近似される。
  論文  参考訳（メタデータ） (2020-04-30T03:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。