論文の概要: ConsistentEE: A Consistent and Hardness-Guided Early Exiting Method for Accelerating Language Models Inference

• arxiv url: http://arxiv.org/abs/2312.11882v1
• Date: Tue, 19 Dec 2023 06:16:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 16:47:54.805362
• Title: ConsistentEE: A Consistent and Hardness-Guided Early Exiting Method for Accelerating Language Models Inference
• Title（参考訳）: ConsistentEE: 言語モデル推論の高速化のための一貫性と硬度をガイドした早期実行方法
• Authors: Ziqian Zeng, Yihuai Hong, Hongliang Dai, Huiping Zhuang, Cen Chen
• Abstract要約: トレーニングと推論に一貫性のある早期退避手法であるConsistentEEを提案する。 インスタンスが終了するか継続するかを決定するためにポリシーネットワークが追加される。 記憶層を報酬関数設計に組み込んで、インスタンスのアクセラレーションをより重視できるようにします。
• 参考スコア（独自算出の注目度）: 22.793325294064115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Early Exiting is one of the most popular methods to achieve efficient inference. Current early exiting methods adopt the (weighted) sum of the cross entropy loss of all internal classifiers during training, imposing all these classifiers to predict all instances correctly. However, during inference, as long as one internal classifier predicts an instance correctly, it can accelerate without losing accuracy. Thus, there is a notable gap between training and inference. We propose ConsistentEE, an early exiting method that is consistent in training and inference. ConsistentEE formulates the early exiting process as a reinforcement learning problem. A policy network is added to decide whether an instance should exit or continue. The training objective of ConsistentEE only require each instance to be predicted correctly by one internal classifier. Additionally, we introduce the concept Memorize Layer to measure the hardness of an instance. We incorporate memorized layer into reward function design, which allows ``easy'' instances to focus more on acceleration while ``hard'' instances to focus more on accuracy. Experimental results show that our method outperforms other baselines on various natural language understanding and generation tasks.
• Abstract（参考訳）: Early Exitingは効率的な推論を実現する最も一般的な方法の1つである。 現在の早期出口法では、訓練中のすべての内部分類器のクロスエントロピー損失の(重み付けされた)和を採用し、これらすべての分類器を正しく予測する。 しかし、推論の間、ある内部分類器がインスタンスを正しく予測する限り、精度を損なうことなく加速することができる。 したがって、トレーニングと推論の間には顕著なギャップがある。 本稿では,トレーニングや推論において一貫した早期終了手法であるConsistentEEを提案する。 consistenteeは、強化学習問題として、早期退出プロセスを定式化する。 インスタンスが終了するか継続するかを決定するためにポリシーネットワークが追加される。 ConsistentEEのトレーニング目的は、各インスタンスを1つの内部分類器で正しく予測することのみである。 さらに,インスタンスの硬度を測定するために,概念記憶層を導入する。 記憶層を報酬関数設計に組み込むことにより, ``easy'' インスタンスがよりアクセラレーションに, ``hard'' インスタンスが精度に重点を置くことができる。 実験の結果,本手法は様々な自然言語理解と生成タスクにおいて,他のベースラインよりも優れていることがわかった。

関連論文リスト

• Purify Unlearnable Examples via Rate-Constrained Variational Autoencoders [101.42201747763178]
  未学習例(UE)は、正しくラベル付けされたトレーニング例に微妙な修正を加えることで、テストエラーの最大化を目指している。 我々の研究は、効率的な事前学習浄化法を構築するための、新しいゆがみ機構を提供する。
  論文  参考訳（メタデータ） (2024-05-02T16:49:25Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Can Diffusion Model Achieve Better Performance in Text Generation? Bridging the Gap between Training and Inference! [14.979893207094221]
  拡散モデルは、離散テキストを連続空間にマッピングすることで、テキスト生成タスクにうまく適応している。 トレーニングと推論の間には、推論中に前処理が欠如しているため、無視できないギャップがある。 本稿では、上記のギャップを埋める単純な方法として、Distance Penalty と Adaptive Decay Sampling を提案する。
  論文  参考訳（メタデータ） (2023-05-08T05:32:22Z)
• Learning to Weight Samples for Dynamic Early-exiting Networks [35.03752825893429]
  早期退避は、ディープネットワークの推論効率を改善するための効果的なパラダイムである。 本研究は,各出口で異なるトレーニングサンプルの損失を重み付けするために,重み予測ネットワークを採用することを提案する。 提案する重み付け機構は,分類精度と推論効率のトレードオフを一貫して改善することを示す。
  論文  参考訳（メタデータ） (2022-09-17T10:46:32Z)
• A Simple Hash-Based Early Exiting Approach For Language Understanding and Generation [77.85086491395981]
  早期終了は、難易度の推定に応じて異なるレイヤでインスタンスを終了させることを可能にする。 我々はハッシュベースの早期退避アプローチ(HashEE)を提案し,各トークンを固定された退避層に割り当てるために,学習から退避するモジュールをハッシュ関数に置き換える。 分類,回帰,生成タスクに関する実験結果から,HashEEはFLOPを少なくして高い性能を達成できることが示された。
  論文  参考訳（メタデータ） (2022-03-03T12:02:05Z)
• What is Next when Sequential Prediction Meets Implicitly Hard Interaction? [12.093590031186034]
  ハーネスアウェアインタラクション学習フレームワーク(HAIL)は、2つの基本的逐次学習ネットワークと相互排他蒸留(MED)から構成される 私たちのフレームワークは、よりピアベースのネットワークに容易に拡張できます。
  論文  参考訳（メタデータ） (2022-02-14T11:15:28Z)
• Early Exiting with Ensemble Internal Classifiers [57.80488632985445]
  早期退社はNLPコミュニティで注目を集めている。 本稿では,過去の全ての内部分類器の予測から正しいラベルを推測する投票方式を提案する。 様々なNLPタスクに対する実験結果から,提案した目的関数と投票に基づく戦略により,より精度の高いトレードオフが達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-05-28T12:54:11Z)
• BERT Loses Patience: Fast and Robust Inference with Early Exit [91.26199404912019]
  本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。 提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
  論文  参考訳（メタデータ） (2020-06-07T13:38:32Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。