論文の概要: Performance Control in Early Exiting to Deploy Large Models at the Same Cost of Smaller Ones

• arxiv url: http://arxiv.org/abs/2412.19325v1
• Date: Thu, 26 Dec 2024 18:54:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:28:34.465056
• Title: Performance Control in Early Exiting to Deploy Large Models at the Same Cost of Smaller Ones
• Title（参考訳）: 小型モデルと同じコストで大規模モデルをデプロイする初期の実行時の性能制御
• Authors: Mehrnaz Mofakhami, Reza Bayat, Ioannis Mitliagkas, Joao Monteiro, Valentina Zantedeschi,
• Abstract要約: Early Exiting(EE)は,計算資源をデータポイントに適応的に割り当てることによって推論を高速化する,有望な技術である。 私たちはまず、EEアプローチに関する新しい視点を示し、EEでデプロイされたより大きなモデルは、より小さなモデルよりも高いパフォーマンスを達成することができることを示した。 本稿では,データポイントの信頼度ではなく,サンプルの平均精度に基づいて精度閾値を決定する手法であるPCEE(Performance Control Early Exiting)を紹介する。
• 参考スコア（独自算出の注目度）: 17.797465636040087
• License:
• Abstract: Early Exiting (EE) is a promising technique for speeding up inference by adaptively allocating compute resources to data points based on their difficulty. The approach enables predictions to exit at earlier layers for simpler samples while reserving more computation for challenging ones. In this study, we first present a novel perspective on the EE approach, showing that larger models deployed with EE can achieve higher performance than smaller models while maintaining similar computational costs. As existing EE approaches rely on confidence estimation at each exit point, we further study the impact of overconfidence on the controllability of the compute-performance trade-off. We introduce Performance Control Early Exiting (PCEE), a method that enables accuracy thresholding by basing decisions not on a data point's confidence but on the average accuracy of samples with similar confidence levels from a held-out validation set. In our experiments, we show that PCEE offers a simple yet computationally efficient approach that provides better control over performance than standard confidence-based approaches, and allows us to scale up model sizes to yield performance gain while reducing the computational cost.
• Abstract（参考訳）: Early Exiting(EE)は,計算資源をデータポイントに適応的に割り当てることによって推論を高速化する,有望な技術である。 このアプローチにより、より単純なサンプルのために以前のレイヤから退避すると同時に、困難なものに対するより多くの計算を保存できる。 本研究では、まず、EE で展開される大規模モデルが、同様の計算コストを維持しながら、より小さなモデルよりも高い性能を達成できることを示す。 既存のEEアプローチは各出口点における信頼度推定に依存しているため、計算性能トレードオフの制御性に対する過信の影響をさらに研究する。 本稿では,データポイントの信頼度ではなく,保持された検証セットから,類似の信頼度を持つサンプルの平均精度に基づいて,精度の閾値付けを可能にする手法であるPCEEを紹介する。 実験の結果,PCEEは従来の信頼度に基づく手法よりも高い性能制御を実現し,計算コストを低減しつつ,モデルサイズを拡大して性能向上を実現する,シンプルながら効率的な手法であることがわかった。

関連論文リスト

• Adaptive Resolution Inference (ARI): Energy-Efficient Machine Learning for Internet of Things [11.802983172874901]
  Internet of Thingsデバイスにおける機械学習の実装は、限られたエネルギーと計算資源のために、重大な運用上の問題を引き起こす。 本稿では,エネルギー散逸とモデル性能の新たなトレードオフを評価する新しい手法である適応分解能推論(ARI)を提案する。
  論文  参考訳（メタデータ） (2024-08-26T16:00:26Z)
• Source-Free Domain-Invariant Performance Prediction [68.39031800809553]
  本研究では,不確実性に基づく推定を主軸としたソースフリー手法を提案する。 オブジェクト認識データセットのベンチマーク実験により、既存のソースベースの手法は、限られたソースサンプルの可用性で不足していることが判明した。 提案手法は,現在の最先端のソースフリーおよびソースベース手法よりも優れており,ドメイン不変性能推定の有効性が確認されている。
  論文  参考訳（メタデータ） (2024-08-05T03:18:58Z)
• Stratified Prediction-Powered Inference for Hybrid Language Model Evaluation [62.2436697657307]
  予測駆動推論(英: Prediction-powered Inference, PPI)は、人間ラベル付き限られたデータに基づいて統計的推定を改善する手法である。 我々はStratPPI(Stratified Prediction-Powered Inference)という手法を提案する。 単純なデータ階層化戦略を用いることで,基礎的なPPI推定精度を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2024-06-06T17:37:39Z)
• PAC-Bayes Generalization Certificates for Learned Inductive Conformal Prediction [27.434939269672288]
  我々はPAC-Bayes理論を用いて、集合値予測器のカバレッジと効率の一般化境界を求める。 我々はこれらの理論結果を活用し、キャリブレーションデータを用いてモデルのパラメータやスコア関数を微調整する実用的なアルゴリズムを提供する。 我々は, 回帰および分類タスクに対するアプローチの評価を行い, ICP 上の Hoeffding bound-based PAC 保証を用いて, 基準値の調整を行った。
  論文  参考訳（メタデータ） (2023-12-07T19:40:44Z)
• Predicting Out-of-Distribution Error with Confidence Optimal Transport [17.564313038169434]
  そこで本研究では,未知の分布におけるモデルの性能を付加アノテーションなしで予測する簡易かつ効果的な手法を提案する。 提案手法である信頼度最適輸送(COT)は,対象領域におけるモデルの性能を頑健に推定する。 その単純さにもかかわらず,提案手法は3つのベンチマークデータセットに対して最先端の結果を達成し,既存の手法よりも大きなマージンで性能を向上する。
  論文  参考訳（メタデータ） (2023-02-10T02:27:13Z)
• Energy-Efficient Adaptive Machine Learning on IoT End-Nodes With Class-Dependent Confidence [22.225875583595027]
  少ない精度のドロップでエネルギー効率を得る効果的な方法は、ますます複雑なモデルの集合を順次実行することである。 現在の手法では、各モデルが生成する出力確率に1つのしきい値を用いる。 本手法は, シングルスレッド方式と比較して, エネルギー消費を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2022-04-07T13:22:52Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Sample-Efficient Reinforcement Learning via Conservative Model-Based Actor-Critic [67.00475077281212]
  モデルベース強化学習アルゴリズムは、モデルフリーのアルゴリズムよりもサンプル効率が高い。 本稿では,精度の高い学習モデルに強く依存することなく,高いサンプル効率を実現する新しい手法を提案する。 CMBACは,いくつかの課題に対して,サンプル効率の点で最先端のアプローチを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-12-16T15:33:11Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• BERT Loses Patience: Fast and Robust Inference with Early Exit [91.26199404912019]
  本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。 提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
  論文  参考訳（メタデータ） (2020-06-07T13:38:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。