論文の概要: EBJR: Energy-Based Joint Reasoning for Adaptive Inference
- arxiv url: http://arxiv.org/abs/2110.10343v1
- Date: Wed, 20 Oct 2021 02:33:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-22 13:56:08.645323
- Title: EBJR: Energy-Based Joint Reasoning for Adaptive Inference
- Title(参考訳): EBJR:適応推論のためのエネルギーベース共同推論
- Authors: Mohammad Akbari, Amin Banitalebi-Dehkordi, Yong Zhang
- Abstract要約: 最先端のディープラーニングモデルは、さまざまなベンチマークで大きなパフォーマンスレベルを達成した。
一方、軽量アーキテクチャは適度な精度を実現しますが、より望ましいレイテンシを実現しています。
本稿では,大規模高精度モデルと小型高速モデルとを併用する新しい手法を提案する。
- 参考スコア(独自算出の注目度): 10.447353952054492
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State-of-the-art deep learning models have achieved significant performance
levels on various benchmarks. However, the excellent performance comes at a
cost of inefficient computational cost. Light-weight architectures, on the
other hand, achieve moderate accuracies, but at a much more desirable latency.
This paper presents a new method of jointly using the large accurate models
together with the small fast ones. To this end, we propose an Energy-Based
Joint Reasoning (EBJR) framework that adaptively distributes the samples
between shallow and deep models to achieve an accuracy close to the deep model,
but latency close to the shallow one. Our method is applicable to
out-of-the-box pre-trained models as it does not require an architecture change
nor re-training. Moreover, it is easy to use and deploy, especially for cloud
services. Through a comprehensive set of experiments on different down-stream
tasks, we show that our method outperforms strong state-of-the-art approaches
with a considerable margin. In addition, we propose specialized EBJR, an
extension of our method where we create a smaller specialized side model that
performs the target task only partially, but yields an even higher accuracy and
faster inference. We verify the strengths of our methods with both theoretical
and experimental evaluations.
- Abstract(参考訳): 最先端のディープラーニングモデルは、さまざまなベンチマークで大きなパフォーマンスレベルを達成した。
しかし、優れた性能には非効率な計算コストが伴う。
一方、軽量アーキテクチャは適度な精度を実現しますが、より望ましいレイテンシを実現しています。
本稿では,大規模高精度モデルと小型高速モデルとを併用する新しい手法を提案する。
そこで本研究では,浅層モデルと深層モデルの間で試料を適応的に分配し,深部モデルに近い精度を達成し,浅部モデルに近いレイテンシを実現するEnergy-Based Joint Reasoning (EBJR) フレームワークを提案する。
本手法は,アーキテクチャ変更や再トレーニングを必要とせず,事前学習モデルに適用できる。
さらに、特にクラウドサービスでは、使いやすく、デプロイも簡単です。
さまざまなダウンストリームタスクに関する総合的な実験を通じて,本手法が最先端のアプローチをかなりマージンで上回っていることを示す。
さらに,対象タスクを部分的にしか実行しないが,さらに精度が向上し,より高速な推論を実現するための,より小さな専用サイドモデルを作成するための,ebjr法の拡張を提案する。
提案手法の強度を理論的および実験的評価の両方で検証する。
関連論文リスト
- Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。
本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-08-03T21:49:14Z) - HCE: Improving Performance and Efficiency with Heterogeneously
Compressed Neural Network Ensemble [22.065904428696353]
最近のアンサンブルトレーニング手法では,同じモデルアーキテクチャを持つ複数のサブモデルの異なるトレーニングアルゴリズムや設定を探索している。
我々は、事前訓練されたDNNモデルから、切断された量子化された変種と効率的なアンサンブルを構築するヘテロジェネリー圧縮アンサンブル(HCE)を提案する。
論文 参考訳(メタデータ) (2023-01-18T21:47:05Z) - Design Amortization for Bayesian Optimal Experimental Design [70.13948372218849]
予測情報ゲイン(EIG)のバウンダリに関してパラメータ化された変分モデルを最適化する。
実験者が1つの変分モデルを最適化し、潜在的に無限に多くの設計に対してEIGを推定できる新しいニューラルアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-10-07T02:12:34Z) - Sample-Efficient Reinforcement Learning via Conservative Model-Based
Actor-Critic [67.00475077281212]
モデルベース強化学習アルゴリズムは、モデルフリーのアルゴリズムよりもサンプル効率が高い。
本稿では,精度の高い学習モデルに強く依存することなく,高いサンプル効率を実現する新しい手法を提案する。
CMBACは,いくつかの課題に対して,サンプル効率の点で最先端のアプローチを著しく上回ることを示す。
論文 参考訳(メタデータ) (2021-12-16T15:33:11Z) - Follow Your Path: a Progressive Method for Knowledge Distillation [23.709919521355936]
本稿では,教師モデルの指導信号を学生のパラメータ空間に投影することで,新しいモデルに依存しないProKTを提案する。
画像とテキストの双方で実験した結果,提案したProKTは既存の知識蒸留法と比較して常に優れた性能を発揮することがわかった。
論文 参考訳(メタデータ) (2021-07-20T07:44:33Z) - AdaSGN: Adapting Joint Number and Model Size for Efficient
Skeleton-Based Action Recognition [45.6728814296272]
既存の骨格に基づく行動認識法は主に認識精度の向上に重点を置いている。
AdaSGNと呼ばれる新しいアプローチが提案され、推論プロセスの計算コストを削減することができる。
論文 参考訳(メタデータ) (2021-03-22T12:36:39Z) - MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。
妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。
限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文 参考訳(メタデータ) (2020-11-01T18:47:51Z) - Performance of Hyperbolic Geometry Models on Top-N Recommendation Tasks [72.62702932371148]
標準的な協調フィルタリング問題の解法として,双曲幾何学に基づく単純なオートエンコーダを提案する。
現代の多くのディープラーニング技術とは対照的に、私たちは単一の隠れレイヤのみを使用してソリューションを構築します。
論文 参考訳(メタデータ) (2020-08-15T13:21:10Z) - Speedy Performance Estimation for Neural Architecture Search [47.683124540824515]
そこで本研究では,トレーニング速度の簡易な測定値に基づいて最終試験性能を推定する。
我々の推定器は、一般化と学習速度の関連によって理論的に動機付けられている。
論文 参考訳(メタデータ) (2020-06-08T11:48:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。