論文の概要: Unsupervised Early Exit in DNNs with Multiple Exits

• arxiv url: http://arxiv.org/abs/2209.09480v1
• Date: Tue, 20 Sep 2022 05:35:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 17:26:50.081348
• Title: Unsupervised Early Exit in DNNs with Multiple Exits
• Title（参考訳）: 複数出口を持つDNNにおける教師なし早期退避
• Authors: Hari Narayan N U and Manjesh K. Hanawal and Avinash Bhardwaj
• Abstract要約: 我々は、Strong Dominance(SD)プロパティをほぼ満足することを示すために、事前訓練されたマルチエクイットDNNであるElastic BERTに焦点を当てた。 IMDbとYelpのデータセット上で,我々のアルゴリズムを実証的に検証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Networks (DNNs) are generally designed as sequentially cascaded differentiable blocks/layers with a prediction module connected only to its last layer. DNNs can be attached with prediction modules at multiple points along the backbone where inference can stop at an intermediary stage without passing through all the modules. The last exit point may offer a better prediction error but also involves more computational resources and latency. An exit point that is `optimal' in terms of both prediction error and cost is desirable. The optimal exit point may depend on the latent distribution of the tasks and may change from one task type to another. During neural inference, the ground truth of instances may not be available and error rates at each exit point cannot be estimated. Hence one is faced with the problem of selecting the optimal exit in an unsupervised setting. Prior works tackled this problem in an offline supervised setting assuming that enough labeled data is available to estimate the error rate at each exit point and tune the parameters for better accuracy. However, pre-trained DNNs are often deployed in new domains for which a large amount of ground truth may not be available. We model the problem of exit selection as an unsupervised online learning problem and use bandit theory to identify the optimal exit point. Specifically, we focus on Elastic BERT, a pre-trained multi-exit DNN to demonstrate that it `nearly' satisfies the Strong Dominance (SD) property making it possible to learn the optimal exit in an online setup without knowing the ground truth labels. We develop upper confidence bound (UCB) based algorithm named UEE-UCB that provably achieves sub-linear regret under the SD property. Thus our method provides a means to adaptively learn domain-specific optimal exit points in multi-exit DNNs. We empirically validate our algorithm on IMDb and Yelp datasets.
• Abstract（参考訳）: Deep Neural Networks (DNN) は一般的に、最終層にのみ接続される予測モジュールを備えた、逐次カスケード可能なブロック/層として設計されている。 dnnはバックボーンに沿って複数のポイントに予測モジュールをアタッチでき、推論はすべてのモジュールを通さずに中間段階で停止することができる。 最後の出口はより良い予測エラーをもたらすかもしれないが、より多くの計算リソースとレイテンシも伴う。 予測誤差とコストの両方の観点から「最適」である出口が望ましい。 最適出口はタスクの潜在分布に依存し、あるタスクタイプから別のタスクタイプに変化する可能性がある。 ニューラル推論では、インスタンスの基底的真理は利用できず、各出口における誤差率は推定できない。 したがって、教師なしの設定で最適出口を選択する問題に直面している。 先行研究では、各出口の誤差率を推定し、より精度良くパラメータをチューニングするために十分なラベル付きデータが利用できると仮定したオフラインの教師付き設定でこの問題に対処した。 しかし、訓練済みのDNNは、多くの場合、大量の真実が得られない新しいドメインにデプロイされる。 出口選択の問題を教師なしオンライン学習問題としてモデル化し,バンディット理論を用いて最適出口を同定する。 具体的には、事前訓練されたマルチエクイットDNNであるElastic BERTに着目し、Strong Dominance(SD)プロパティを"ほぼ"満足していることを示す。 UEE-UCBと名づけられた上位信頼境界(UCB)に基づくアルゴリズムを開発し,SD特性下でのサブ線形後悔を確実に達成する。 そこで本手法は,DNNにおけるドメイン固有最適出口点を適応的に学習する手段を提供する。 IMDbとYelpのデータセットでアルゴリズムを実証的に検証する。

関連論文リスト

• Deep Limit Model-free Prediction in Regression [0.0]
  本稿では,DNN(Deep Neural Network)に基づくモデルフリーアプローチにより,一般的な回帰条件下での点予測と予測間隔を実現する。 提案手法は,特に最適点予測において,他のDNN法に比べて安定かつ正確である。
  論文  参考訳（メタデータ） (2024-08-18T16:37:53Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Boosted Dynamic Neural Networks [53.559833501288146]
  典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。 モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。 トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。 EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T04:23:12Z)
• Reducing Flipping Errors in Deep Neural Networks [39.24451665215755]
  ディープニューラルネットワーク(DNN)は、人工知能の様々な領域に広く応用されている。 本報告では,DNNが最終時代において誤って分類した検体(未確認検体)が,どの程度の精度で正しく分類されたかについて検討する。 本稿では, DNN の動作変化を, 適切な局所境界を維持するために, 正しく分類されたサンプル上での動作変化を制限することを提案する。
  論文  参考訳（メタデータ） (2022-03-16T04:38:06Z)
• Generalizing Neural Networks by Reflecting Deviating Data in Production [15.498447555957773]
  本稿では,DNNに対する予期せぬ実行時入力によるDNNの誤予測を緩和する実行時アプローチを提案する。 我々は,シームズネットワークが学習した距離測定値に基づく分布解析器を用いて,意味的に保存されていない入力を識別する。 我々のアプローチは、これらの予期せぬ入力を、類似のセマンティクスを持つと認識されるトレーニングセットから入力に変換する。
  論文  参考訳（メタデータ） (2021-10-06T13:05:45Z)
• Early-exit deep neural networks for distorted images: providing an efficient edge offloading [69.43216268165402]
  ディープニューラルネットワーク(DNN)のエッジオフロードは、入力の複雑さに適応することができる。 画像歪みに対する対策として,特定の歪みタイプを訓練した専門的側枝を導入する。 このアプローチはエッジ上の推定精度を高め、オフロードの決定を改善する。
  論文  参考訳（メタデータ） (2021-08-20T19:52:55Z)
• Understanding and Improving Early Stopping for Learning with Noisy Labels [63.0730063791198]
  ディープニューラルネットワーク(DNN)の記憶効果は、多くの最先端のラベルノイズ学習法において重要な役割を担っている。 現在の手法は一般的にDNN全体を考慮して早期停止点を決定する。 我々は、DNNを異なる部分に分割し、この問題に対処するよう徐々に訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-30T07:18:00Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。