論文の概要: Early Exiting with Ensemble Internal Classifiers

• arxiv url: http://arxiv.org/abs/2105.13792v1
• Date: Fri, 28 May 2021 12:54:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-31 13:51:16.666692
• Title: Early Exiting with Ensemble Internal Classifiers
• Title（参考訳）: アンサンブル内部分類器を用いた早期退出
• Authors: Tianxiang Sun, Yunhua Zhou, Xiangyang Liu, Xinyu Zhang, Hao Jiang, Zhao Cao, Xuanjing Huang, Xipeng Qiu
• Abstract要約: 早期退社はNLPコミュニティで注目を集めている。 本稿では,過去の全ての内部分類器の予測から正しいラベルを推測する投票方式を提案する。 様々なNLPタスクに対する実験結果から,提案した目的関数と投票に基づく戦略により,より精度の高いトレードオフが達成できることが示唆された。
• 参考スコア（独自算出の注目度）: 57.80488632985445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a simple technique to accelerate inference of large-scale pre-trained models, early exiting has gained much attention in the NLP community. It allows samples to exit early at internal classifiers without passing through the entire model. Most existing work usually trains the internal classifiers independently and employs an exiting strategy to decide whether or not to exit based on the confidence of the current internal classifier. However, none of these works takes full advantage of the fact that the internal classifiers are trained to solve the same task therefore can be used to construct an ensemble. In this paper, we show that a novel objective function for the training of the ensemble internal classifiers can be naturally induced from the perspective of ensemble learning and information theory. The proposed training objective consists of two terms: one for accuracy and the other for the diversity of the internal classifiers. In contrast, the objective used in prior work is exactly the accuracy term of our training objective therefore only optimizes the accuracy but not diversity. Further, we propose a simple voting-based strategy that considers predictions of all the past internal classifiers to infer the correct label and decide whether to exit. Experimental results on various NLP tasks show that our proposed objective function and voting-based strategy can achieve better accuracy-speed trade-offs.
• Abstract（参考訳）: 大規模事前学習モデルの推論を高速化する単純な手法として、早期終了はNLPコミュニティで注目されている。 モデル全体を通過することなく、サンプルを内部分類器で早期に退避させることができる。 既存の作業の多くは、内部分類器を独立して訓練し、現在の内部分類器の信頼性に基づいて出口を決定するための出口戦略を採用している。 しかしながら、これらの作品のいずれも内部分類器が同じタスクを解くように訓練されているという事実を最大限に活用していないため、アンサンブルを構築するのに使うことができる。 本稿では,アンサンブル学習と情報理論の観点から,アンサンブル内部分類器の訓練のための新たな目的関数を自然に生成できることを示す。 提案する学習目的は, 精度と内部分類器の多様性の2つの用語からなる。 対照的に、事前の作業で使用される目標は、トレーニング目標の正確さの用語であるので、精度だけを最適化するだけでなく、多様性を最適化するものではない。 さらに、過去の全ての内部分類器の予測を考慮し、正しいラベルを推測し、出口を決定するための単純な投票ベースの戦略を提案する。 様々なnlpタスクにおける実験結果は,提案する目的関数と投票に基づく戦略により,精度と速度のトレードオフが向上することを示す。

関連論文リスト

• A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
  対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。 近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。 従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
  論文  参考訳（メタデータ） (2024-02-06T15:45:27Z)
• ConsistentEE: A Consistent and Hardness-Guided Early Exiting Method for Accelerating Language Models Inference [21.24566458648584]
  トレーニングと推論に一貫性のある早期退避手法であるConsistentEEを提案する。 インスタンスが終了するか継続するかを決定するためにポリシーネットワークが追加される。 記憶層を報酬関数設計に組み込むことで、"簡単"なインスタンスがより加速に集中できるようにします。
  論文  参考訳（メタデータ） (2023-12-19T06:16:13Z)
• Anomaly Detection using Ensemble Classification and Evidence Theory [62.997667081978825]
  本稿では,アンサンブル分類とエビデンス理論を用いた新しい検出手法を提案する。 固体アンサンブル分類器を構築するためのプール選択戦略が提示される。 我々は異常検出手法の不確実性を利用する。
  論文  参考訳（メタデータ） (2022-12-23T00:50:41Z)
• Self-Training: A Survey [5.772546394254112]
  半教師付きアルゴリズムは、ラベル付き観測の小さなセットとラベルなし観測の大きなセットから予測関数を学習することを目的としている。 近年,自己学習手法が注目されていることは確かである。 本稿では,バイナリクラスとマルチクラス分類のための自己学習手法と,その変種と関連する2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-24T11:40:44Z)
• Optimal Representations for Covariate Shift [18.136705088756138]
  リスク最小化が堅牢であることが保証されるすべての表現の集合を最適とする単純な変分対象を導入する。 我々の目標は、DomainBedにおける最先端の成果を達成し、CLIPのような最近の手法の堅牢性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2021-12-31T21:02:24Z)
• Out-of-Scope Intent Detection with Self-Supervision and Discriminative Training [20.242645823965145]
  タスク指向対話システムにおいて、スコープ外インテント検出は実用上重要である。 本稿では,テストシナリオをシミュレートして,スコープ外インテント分類器をエンドツーエンドに学習する手法を提案する。 提案手法を4つのベンチマーク・ダイアログ・データセット上で広範囲に評価し,最先端のアプローチに対する大幅な改善を観察する。
  論文  参考訳（メタデータ） (2021-06-16T08:17:18Z)
• Learning and Evaluating Representations for Deep One-class Classification [59.095144932794646]
  ディープワンクラス分類のための2段階フレームワークを提案する。 まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。 実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-11-04T23:33:41Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。