論文の概要: Fast yet Safe: Early-Exiting with Risk Control

• arxiv url: http://arxiv.org/abs/2405.20915v2
• Date: Mon, 04 Nov 2024 15:48:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:45:30.230697
• Title: Fast yet Safe: Early-Exiting with Risk Control
• Title（参考訳）: 高速かつ安全 - リスク管理による早期導入
• Authors: Metod Jazbec, Alexander Timans, Tin Hadži Veljković, Kaspar Sakmann, Dan Zhang, Christian A. Naesseth, Eric Nalisnick,
• Abstract要約: 早期排他ニューラルネットワーク(EENN)は中間層を脱出させ、早期に予測を生成することによって推論を加速する。 しかし、EENNの根本的な問題は、パフォーマンスを著しく低下させることなく、いつ終了するかを決定する方法である。 リスクコントロールは、EENNのエグジットメカニズムをチューニングし、アウトプットが十分な品質の場合にのみ発生する、分散のないポストホックソリューションを提供する。
• 参考スコア（独自算出の注目度）: 40.36199163572411
• License:
• Abstract: Scaling machine learning models significantly improves their performance. However, such gains come at the cost of inference being slow and resource-intensive. Early-exit neural networks (EENNs) offer a promising solution: they accelerate inference by allowing intermediate layers to exit and produce a prediction early. Yet a fundamental issue with EENNs is how to determine when to exit without severely degrading performance. In other words, when is it 'safe' for an EENN to go 'fast'? To address this issue, we investigate how to adapt frameworks of risk control to EENNs. Risk control offers a distribution-free, post-hoc solution that tunes the EENN's exiting mechanism so that exits only occur when the output is of sufficient quality. We empirically validate our insights on a range of vision and language tasks, demonstrating that risk control can produce substantial computational savings, all the while preserving user-specified performance goals.
• Abstract（参考訳）: 機械学習モデルをスケールすることで、パフォーマンスが大幅に向上する。 しかし、そのような利益は、推論が遅く、リソース集約的なコストで得られます。 早期排他ニューラルネットワーク(EENN)は、予測を早めることによって推論を加速する、有望なソリューションを提供する。 しかし、EENNの根本的な問題は、パフォーマンスを著しく低下させることなく、いつ終了するかを決定する方法である。 言い換えれば、EENNが"高速"になるのはいつ頃なのでしょうか? この問題に対処するために,我々はリスク制御のフレームワークをEENNに適応させる方法について検討する。 リスクコントロールは、EENNのエグジットメカニズムをチューニングし、アウトプットが十分な品質の場合にのみ発生する、分散のないポストホックソリューションを提供する。 リスクコントロールがユーザ固有のパフォーマンス目標を保ちながら,計算コストを大幅に削減できることを実証し,さまざまなビジョンや言語タスクに関する洞察を実証的に検証する。

関連論文リスト

• Special Session: Approximation and Fault Resiliency of DNN Accelerators [0.9126382223122612]
  本稿では,Deep Neural Networkアクセラレータの近似とフォールトレジリエンスについて検討する。 本稿では,DNNに障害注入を行わずにハードウェアのエラーをエミュレートするために近似(AxC)演算回路を提案する。 また,ネットワーク上での断層伝播とマスキングによる耐故障性の微粒化解析も提案する。
  論文  参考訳（メタデータ） (2023-05-31T19:27:45Z)
• Knowing When to Stop: Delay-Adaptive Spiking Neural Network Classifiers with Reliability Guarantees [36.14499894307206]
  スパイキングニューラルネットワーク(SNN)は、内部イベント駆動型ニューラルネットワークを通じて時系列データを処理する。 本稿では,入力依存停止時に発生する決定に対して,信頼性を保証する新しい遅延適応型SNNベースの推論手法を提案する。
  論文  参考訳（メタデータ） (2023-05-18T22:11:04Z)
• Dynamics-Aware Loss for Learning with Label Noise [73.75129479936302]
  ディープニューラルネットワーク(DNN)にラベルノイズが深刻な脅威をもたらす 本稿では,この問題を解決するためにDAL(Dynamics-Aware Los)を提案する。 詳細な理論的解析と広範な実験結果の両方が,本手法の優位性を示している。
  論文  参考訳（メタデータ） (2023-03-21T03:05:21Z)
• The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural Networks [94.63547069706459]
  #DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。 違反の正確な数を返す新しい手法を提案する。 安全クリティカルなベンチマークのセットに関する実験結果を示す。
  論文  参考訳（メタデータ） (2023-01-17T18:32:01Z)
• Binary Early-Exit Network for Adaptive Inference on Low-Resource Devices [3.591566487849146]
  バイナリニューラルネットワーク(BNN)は、実数値モデルと比較して、極端な圧縮とスピードアップによる問題に対処する。 そこで本研究では,BNNを早期導入戦略で統合して推論を高速化する,シンプルだが効果的な手法を提案する。 このアプローチでは、決定しきい値に基づいて単純なインスタンスを早期に終了させ、異なる中間層に追加される出力層を利用してバイナリモデル全体の実行を回避する。
  論文  参考訳（メタデータ） (2022-06-17T22:11:11Z)
• Fault-Aware Design and Training to Enhance DNNs Reliability with Zero-Overhead [67.87678914831477]
  ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。 最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。 本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
  論文  参考訳（メタデータ） (2022-05-28T13:09:30Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Fail-Safe Execution of Deep Learning based Systems through Uncertainty Monitoring [4.56877715768796]
  フェールセーフなディープラーニングベースシステム(DLS)は、スーパーバイザーによってDNNの障害を処理する。 本稿では,DNNの不確実性推定器を用いて,そのようなスーパーバイザを実装する手法を提案する。 通常のtf.keras DNNに対する不確かさを透過的に推定できるツールUNCERTAINTY-WIZARDについて述べる。
  論文  参考訳（メタデータ） (2021-02-01T15:22:54Z)
• HarDNN: Feature Map Vulnerability Evaluation in CNNs [23.24111155295923]
  本稿では、CNN推論中に脆弱な計算を識別するためのソフトウェア指向アプローチであるHarDNNを提案する。 我々は,統計的誤差注入キャンペーンを用いて,CNNにおける特徴写像(fmap)の相対的脆弱性を正確に推定できることを示す。 その結果,HarDNNでは,余剰計算のレジリエンスの向上が超直線的であることがわかった。
  論文  参考訳（メタデータ） (2020-02-22T23:05:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。