論文の概要: Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE

• arxiv url: http://arxiv.org/abs/2406.14404v1
• Date: Thu, 20 Jun 2024 15:25:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 13:03:05.457372
• Title: Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE
• Title（参考訳）: 量子化と早期排除を組み合わせたエラーの予測:QuEE
• Authors: Florence Regol, Joud Chataoui, Bertrand Charpentier, Mark Coates, Pablo Piantanida, Stephan Gunnemann,
• Abstract要約: 本稿では,量子化と早期出口動的ネットワークを組み合わせたより一般的な動的ネットワークQuEEを提案する。 我々のアルゴリズムは、ソフトアーリーエグジットや入力依存圧縮の一形態と見なすことができる。 提案手法の重要な要素は、さらなる計算によって実現可能な潜在的な精度向上の正確な予測である。
• 参考スコア（独自算出の注目度）: 68.6018458996143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning models can solve complex tasks but often require significant computational resources during inference. This has led to the development of various post-training computation reduction methods that tackle this issue in different ways, such as quantization which reduces the precision of weights and arithmetic operations, and dynamic networks which adapt computation to the sample at hand. In this work, we propose a more general dynamic network that can combine both quantization and early exit dynamic network: QuEE. Our algorithm can be seen as a form of soft early exiting or input-dependent compression. Rather than a binary decision between exiting or continuing, we introduce the possibility of continuing with reduced computation. This complicates the traditionally considered early exiting problem, which we solve through a principled formulation. The crucial factor of our approach is accurate prediction of the potential accuracy improvement achievable through further computation. We demonstrate the effectiveness of our method through empirical evaluation, as well as exploring the conditions for its success on 4 classification datasets.
• Abstract（参考訳）: 機械学習モデルは複雑なタスクを解くことができるが、しばしば推論中にかなりの計算資源を必要とする。 これは、重みと算術演算の精度を下げる量子化や、サンプルに計算を適応させる動的ネットワークなど、様々な方法でこの問題に対処するポストトレーニング計算の削減手法の開発につながっている。 本研究では,量子化と早期出口動的ネットワークを組み合わせたより汎用的な動的ネットワークQuEEを提案する。 我々のアルゴリズムは、ソフトアーリーエグジットや入力依存圧縮の一形態と見なすことができる。 終了か継続かという二項決定よりも,計算量を減らして継続する可能性を導入する。 これは、原則化された定式化によって解決される、伝統的に検討された早期退行問題を複雑化する。 提案手法の重要な要素は、さらなる計算によって実現可能な潜在的な精度向上の正確な予測である。 本手法の有効性を実証的評価により実証し,その成功条件を4つの分類データセットで検証した。

関連論文リスト

• A resource-efficient model for deep kernel learning [0.0]
  精度の低下を最小限に抑えた学習計算の高速化には,様々なアプローチがある。 本稿では,演算子の分解とネットワークの分解を併用したモデルレベルの分解手法について述べる。 得られたアルゴリズムの精度とスケーラビリティの両面から実現可能性解析を行う。
  論文  参考訳（メタデータ） (2024-10-13T17:11:42Z)
• Successive Refinement in Large-Scale Computation: Advancing Model Inference Applications [67.76749044675721]
  階層化分解能計算の解を導入する。 これらの解により、最終結果よりも早い段階でより解像度の低い結果が得られる。
  論文  参考訳（メタデータ） (2024-02-11T15:36:33Z)
• On efficient computation in active inference [1.1470070927586016]
  計算量を大幅に減らした有限時間地平線に対する新しい計画アルゴリズムを提案する。 また、新規かつ既存のアクティブな推論計画スキームに対して適切な目標分布を設定するプロセスを簡単にする。
  論文  参考訳（メタデータ） (2023-07-02T07:38:56Z)
• Predictive Coding beyond Correlations [59.47245250412873]
  このようなアルゴリズムのうちの1つは、予測符号化と呼ばれ、因果推論タスクを実行することができるかを示す。 まず、予測符号化の推論過程における簡単な変化が、因果グラフを再利用したり再定義したりすることなく、介入を計算できることを示す。
  論文  参考訳（メタデータ） (2023-06-27T13:57:16Z)
• Computing large deviation prefactors of stochastic dynamical systems based on machine learning [4.474127100870242]
  弱い雑音の極限における力学系の希少事象の指数推定を特徴付ける大きな偏差理論を提案する。 我々は、ベクトル場の分解に基づいて、準ポテンシャル、最も確率の高い経路とプレファクタを計算するためのニューラルネットワークフレームワークを設計する。 数値実験は、弱いランダム変動によって引き起こされる稀な事象の内部メカニズムを探索する上で、その強力な機能を示す。
  論文  参考訳（メタデータ） (2023-06-20T09:59:45Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• EQ-Net: A Unified Deep Learning Framework for Log-Likelihood Ratio Estimation and Quantization [25.484585922608193]
  EQ-Netは,データ駆動手法を用いてログ類似度(LLR)推定と量子化の両課題を解決する,最初の包括的フレームワークである。 広範な実験評価を行い,両タスクにおいて単一アーキテクチャが最先端の成果を達成できることを実証する。
  論文  参考訳（メタデータ） (2020-12-23T18:11:30Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。