論文の概要: SQUAD: Scalable Quorum Adaptive Decisions via ensemble of early exit neural networks
- arxiv url: http://arxiv.org/abs/2601.22711v1
- Date: Fri, 30 Jan 2026 08:32:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-02 18:28:15.327941
- Title: SQUAD: Scalable Quorum Adaptive Decisions via ensemble of early exit neural networks
- Title（参考訳）: SQUAD: 早期出口ニューラルネットワークのアンサンブルによるスケーラブルな量子適応決定
- Authors: Matteo Gambella, Fabrizio Pittorino, Giuliano Casale, Manuel Roveri,
- Abstract要約: 本稿では,早期終了機構と分散アンサンブル学習を統合した最初の推論手法であるSQUADを紹介する。
また,階層的多様性を最適化した早期学習者を選択するニューラルネットワーク探索手法であるQUESTを導入する。
このコンセンサス駆動のアプローチは統計的に堅牢な早期出口をもたらし、最先端の動的解と比較してテスト精度を5.95%向上させる。
- 参考スコア（独自算出の注目度）: 8.530214413698966
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Early-exit neural networks have become popular for reducing inference latency by allowing intermediate predictions when sufficient confidence is achieved. However, standard approaches typically rely on single-model confidence thresholds, which are frequently unreliable due to inherent calibration issues. To address this, we introduce SQUAD (Scalable Quorum Adaptive Decisions), the first inference scheme that integrates early-exit mechanisms with distributed ensemble learning, improving uncertainty estimation while reducing the inference time. Unlike traditional methods that depend on individual confidence scores, SQUAD employs a quorum-based stopping criterion on early-exit learners by collecting intermediate predictions incrementally in order of computational complexity until a consensus is reached and halting the computation at that exit if the consensus is statistically significant. To maximize the efficacy of this voting mechanism, we also introduce QUEST (Quorum Search Technique), a Neural Architecture Search method to select early-exit learners with optimized hierarchical diversity, ensuring learners are complementary at every intermediate layer. This consensus-driven approach yields statistically robust early exits, improving the test accuracy up to 5.95% compared to state-of-the-art dynamic solutions with a comparable computational cost and reducing the inference latency up to 70.60% compared to static ensembles while maintaining a good accuracy.
- Abstract（参考訳）: ニューラルネットワークは、十分な信頼性が達成された場合の中間予測を可能にすることで、推論レイテンシの低減に人気がある。
しかし、標準的なアプローチは典型的には単一モデルの信頼しきい値に依存しており、固有のキャリブレーションの問題のためにしばしば信頼できない。
そこで本稿では,SQUAD(Scalable Quorum Adaptive Decisions)という,分散アンサンブル学習と早期終了機構を統合し,推論時間を短縮し,不確実性評価を改善する最初の推論手法を紹介する。
個々の信頼性スコアに依存する従来の手法とは異なり、SQUADは、コンセンサスに到達するまで計算複雑性の順に中間予測を漸進的に収集し、統計的に有意であればその出口での計算を停止することで、早期学習者に対するクォーラムベースの停止基準を採用する。
また、この投票機構の有効性を最大化するために、ニューラルネットワーク検索手法であるQUESTを導入し、階層的多様性を最適化した早期学習者を選別し、中間層毎に学習者が相補的であることを保証した。
このコンセンサス駆動のアプローチは、統計的に堅牢な早期出口をもたらし、最先端の動的解と同等の計算コストで5.95%まで精度を向上し、推論遅延を静的アンサンブルと比較して最大70.60%削減する。
関連論文リスト
- Confidence-gated training for efficient early-exit neural networks [49.78598138251519]
初期段階のニューラルネットワークは、中間層での確実な予測を可能にすることにより、推論コストを低減する。
我々は,前回の出口が故障した場合のみ,より深い出口からの勾配を条件的に伝播させるパラダイムである信頼性訓練(CGT)を提案する。
論文 参考訳（メタデータ） (2025-09-22T15:18:21Z) - Non-Asymptotic Uncertainty Quantification in High-Dimensional Learning [5.318766629972959]
不確かさの定量化は多くの高次元回帰や学習問題において決定的だが難しい課題である。
我々は、古典的回帰アプローチとニューラルネットワークの両方に適用可能な、回帰におけるUQのための新しいデータ駆動アプローチを開発した。
論文 参考訳（メタデータ） (2024-07-18T16:42:10Z) - Towards Calibrated Deep Clustering Network [60.71776081164377]
ディープクラスタリングでは、特定のクラスタに属するサンプルに対する推定信頼度はその実際の予測精度を大きく上回る。
推定された信頼度と実際の精度を効果的にキャリブレーションできる新しいデュアルヘッド(キャリブレーションヘッドとクラスタリングヘッド)深層クラスタリングモデルを提案する。
提案したキャリブレーション深層クラスタリングモデルでは, キャリブレーション誤差の予測値において, 最先端の深部クラスタリング手法を平均5倍に越えるだけでなく, クラスタリング精度も大幅に向上する。
論文 参考訳（メタデータ） (2024-03-04T11:23:40Z) - Early stopping by correlating online indicators in neural networks [0.24578723416255746]
本稿では,学習者の学習において過度に適合する現象を識別する新しい手法を提案する。
提案手法は,オンライン指標の収集における時間的相関を利用したものである。
一つの基準に焦点をあてた従来のアプローチとは対照的に、独立性評価の助成を生かしている。
論文 参考訳（メタデータ） (2024-02-04T14:57:20Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳（メタデータ） (2023-02-23T18:57:14Z) - BayesNetCNN: incorporating uncertainty in neural networks for
image-based classification tasks [0.29005223064604074]
本稿では,標準的なニューラルネットワークをベイズニューラルネットワークに変換する手法を提案する。
本研究では,各前方パスにおいて,元のものと類似した異なるネットワークをサンプリングすることにより,予測のばらつきを推定する。
我々は、アルツハイマー病患者の脳画像の大きなコホートを用いて、我々のモデルを検証した。
論文 参考訳（メタデータ） (2022-09-27T01:07:19Z) - A novel Deep Learning approach for one-step Conformal Prediction
approximation [0.7646713951724009]
Conformal Prediction (CP) は、最小限の制約を与えられた最大エラー率を保証する汎用的なソリューションである。
本稿では,従来の2ステップCPアプローチを1ステップで近似する新しい共形損失関数を提案する。
論文 参考訳（メタデータ） (2022-07-25T17:46:09Z) - Resource-Constrained Edge AI with Early Exit Prediction [5.060405696893342]
デバイスエッジコ推論システムにおいて,デバイス上での計算オーバーヘッドを低減するための早期出口予測機構を提案する。
具体的には,Exit Predictorと呼ばれる低複雑さモジュールを設計し,初期出口の計算をバイパスする「ハード」なサンプルを導出する。
通信帯域の変動を考慮すると、レイテンシを考慮したエッジ推論の早期終了予測機構を拡張する。
論文 参考訳（メタデータ） (2022-06-15T03:14:21Z) - Quantifying Uncertainty in Deep Spatiotemporal Forecasting [67.77102283276409]
本稿では,正規格子法とグラフ法という2種類の予測問題について述べる。
我々はベイジアンおよび頻繁な視点からUQ法を解析し、統計的決定理論を通じて統一的な枠組みを提示する。
実際の道路ネットワークのトラフィック、疫病、空気質予測タスクに関する広範な実験を通じて、異なるUQ手法の統計計算トレードオフを明らかにする。
論文 参考訳（メタデータ） (2021-05-25T14:35:46Z) - CoinDICE: Off-Policy Confidence Interval Estimation [107.86876722777535]
強化学習における高信頼行動非依存のオフ政治評価について検討する。
様々なベンチマークにおいて、信頼区間推定が既存の手法よりも厳密で精度が高いことが示されている。
論文 参考訳（メタデータ） (2020-10-22T12:39:11Z) - BERT Loses Patience: Fast and Robust Inference with Early Exit [91.26199404912019]
本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。
提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
論文 参考訳（メタデータ） (2020-06-07T13:38:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。