Fugu-MT 論文翻訳(概要): BEEM: Boosting Performance of Early Exit DNNs using Multi-Exit Classifiers as Experts

論文の概要: BEEM: Boosting Performance of Early Exit DNNs using Multi-Exit Classifiers as Experts

arxiv url: http://arxiv.org/abs/2502.00745v1
Date: Sun, 02 Feb 2025 10:35:19 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-05 15:05:37.852684
Title: BEEM: Boosting Performance of Early Exit DNNs using Multi-Exit Classifiers as Experts
Title（参考訳）: BEEM:Multi-Exit Classifierをエキスパートとして利用した初期のDNNの性能向上
Authors: Divya Jyoti Bajpai, Manjesh Kumar Hanawal,
Abstract要約: ディープニューラルネットワーク(DNN)における推論遅延を低減する手段として、初期のExitテクニックが登場した。本稿では,出口分類器を専門家のBEEMとして扱い,信頼性スコアを集計する新たな意思決定基準を提案する。提案手法は最先端のEE手法の性能を向上し,1.5倍から2.1倍の高速化を実現している。
参考スコア（独自算出の注目度）: 5.402030962296633
License:
Abstract: Early Exit (EE) techniques have emerged as a means to reduce inference latency in Deep Neural Networks (DNNs). The latency improvement and accuracy in these techniques crucially depend on the criteria used to make exit decisions. We propose a new decision criterion where exit classifiers are treated as experts BEEM and aggregate their confidence scores. The confidence scores are aggregated only if neighbouring experts are consistent in prediction as the samples pass through them, thus capturing their ensemble effect. A sample exits when the aggregated confidence value exceeds a threshold. The threshold is set using the error rates of the intermediate exits aiming to surpass the performance of conventional DNN inference. Experimental results on the COCO dataset for Image captioning and GLUE datasets for various language tasks demonstrate that our method enhances the performance of state-of-the-art EE methods, achieving improvements in speed-up by a factor 1.5x to 2.1x. When compared to the final layer, its accuracy is comparable in harder Image Captioning and improves in the easier language tasks. The source code for this work is publicly available at https://github.com/Div290/BEEM1/tree/main
Abstract（参考訳）: ディープニューラルネットワーク(DNN)の推論レイテンシを低減する手段として、Early Exit(EE)テクニックが登場した。これらのテクニックのレイテンシの改善と正確性は、出口決定に使用される基準に大きく依存します。本稿では,出口分類器を専門家のBEEMとして扱い,信頼性スコアを集計する新たな意思決定基準を提案する。信頼スコアは、サンプルが通過するにつれて、近隣の専門家が予測に一貫性がある場合にのみ集計されるため、アンサンブル効果をキャプチャする。集約された信頼値がしきい値を超えるとサンプルが終了する。しきい値は、従来のDNN推論の性能を上回ることを目的とした中間出口の誤差率を用いて設定される。画像キャプションのためのCOCOデータセットと様々な言語タスクのためのGLUEデータセットの実験結果から,我々の手法が最先端のEE手法の性能を高め,1.5倍から2.1倍の高速化を実現していることが示された。最終レイヤと比較すると、その精度はイメージキャプションに匹敵し、より簡単な言語タスクを改善している。この作業のソースコードはhttps://github.com/Div290/BEEM1/tree/mainで公開されている。

関連論文リスト

CAPEEN: Image Captioning with Early Exits and Knowledge Distillation [5.402030962296633]
ディープニューラルネットワーク(DNN)は、視覚要素を認識し、画像キャプションタスクで記述的なテキストを生成することで大きな進歩を遂げている。 EE戦略は効率を高めるために使用できるが、その適応は正確な予測のために様々なレベルの意味情報を必要とするため、画像キャプションにおける課題を示す。我々は,知識蒸留を用いたEE戦略の性能向上のためにCAPEENを導入した。
論文参考訳（メタデータ） (2024-10-06T10:05:01Z)
Theoretically Achieving Continuous Representation of Oriented Bounding Boxes [64.15627958879053]
本論文は,オブジェクト指向境界ボックス表現における不連続性を完全に解決しようとする試みである。本研究では,既存の検出器に容易に統合可能なCOBB(Continuous OBB)という新しい表現法を提案する。 OOD評価のためのオープンソースのディープラーニングフレームワークJittorの検出ツールボックスJDetをベースとした,モジュール化されたベンチマークを開発した。
論文参考訳（メタデータ） (2024-02-29T09:27:40Z)
SURE: A Visualized Failure Indexing Approach using Program Memory Spectrum [2.4151044161696587]
本稿では,プログラムメモリスペクトルを用いたsualized failuRe indExingアプローチであるSUREを提案する。まず、失敗したテストケースの実行中に、事前に設定されたブレークポイントで実行時のメモリ情報を収集する。 2つの障害のプロキシとして機能するPMSイメージの任意のペアは、トレーニングされたシームズ畳み込みニューラルネットワークに供給される。
論文参考訳（メタデータ） (2023-10-19T02:04:35Z)
Be Your Own Neighborhood: Detecting Adversarial Example by the Neighborhood Relations Built on Self-Supervised Learning [64.78972193105443]
本稿では,予測に有効な新しいAE検出フレームワークを提案する。 AEの異常な関係と拡張バージョンを区別して検出を行う。表現を抽出し、ラベルを予測するために、既製の自己監視学習(SSL)モデルが使用される。
論文参考訳（メタデータ） (2022-08-31T08:18:44Z)
TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels [141.29156234353133]
最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
論文参考訳（メタデータ） (2022-07-13T16:58:22Z)
Labeling-Free Comparison Testing of Deep Learning Models [28.47632100019289]
本研究では,ラベリング作業の限界を克服し,ランダム性をサンプリングするためのラベリングフリー比較試験手法を提案する。提案手法は,データセットや分布シフトに関わらず,Spearmanの相関値とKendallの$tau$に対して,最大0.74および0.53のベースライン手法より優れている。
論文参考訳（メタデータ） (2022-04-08T10:55:45Z)
Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文参考訳（メタデータ） (2022-03-23T06:24:31Z)
COM2SENSE: A Commonsense Reasoning Benchmark with Complementary Sentences [21.11065466376105]
常識推論は人間にとって直感的であるが、人工知能(AI)の長期的な課題である。事前訓練された言語モデルの最近の進歩は、いくつかのCommonsenseベンチマークデータセットで有望な結果を示している。本稿では,自然言語真偽文からなる新しいコモンセンス推論ベンチマークデータセットを提案する。
論文参考訳（メタデータ） (2021-06-02T06:31:55Z)
Entropy Maximization and Meta Classification for Out-Of-Distribution Detection in Semantic Segmentation [7.305019142196585]
自動運転など多くのアプリケーションにおいて,OoD(Out-of-Distribution)サンプルが不可欠である。 OoD検出の自然なベースラインアプローチは、ピクセル回りのソフトマックスエントロピーのしきい値です。そのアプローチを大幅に改善する2段階の手順を提案する。
論文参考訳（メタデータ） (2020-12-09T11:01:06Z)
Combining Label Propagation and Simple Models Out-performs Graph Neural Networks [52.121819834353865]
多くの標準的なトランスダクティブノード分類ベンチマークでは、最先端のGNNの性能を超えたり、一致させることができる。これをC&S(Correct and Smooth)と呼ぶ。我々のアプローチは、様々なベンチマークで最先端のGNNの性能を上回るか、ほぼ一致している。
論文参考訳（メタデータ） (2020-10-27T02:10:52Z)
Generalized ODIN: Detecting Out-of-distribution Image without Learning from Out-of-distribution Data [87.61504710345528]
我々は,OoD検出性能を改善しつつ,ニューラルネットワークをOoDデータのチューニングから解放する2つの方法を提案する。具体的には、信頼性スコアリングと修正された入力前処理法を分離することを提案する。大規模画像データセットのさらなる解析により、セマンティックシフトと非セマンティックシフトの2種類の分布シフトが有意な差を示すことが示された。
論文参考訳（メタデータ） (2020-02-26T04:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。