論文の概要: F-PABEE: Flexible-patience-based Early Exiting for Single-label and Multi-label text Classification Tasks

• arxiv url: http://arxiv.org/abs/2305.11916v1
• Date: Sun, 21 May 2023 12:17:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 02:02:16.446190
• Title: F-PABEE: Flexible-patience-based Early Exiting for Single-label and Multi-label text Classification Tasks
• Title（参考訳）: F-PABEE:シングルラベルおよびマルチラベルテキスト分類タスクのためのフレキシブル・ペディエンスに基づく早期実行
• Authors: Xiangxiang Gao, Wei Zhu, Jiasheng Gao, Congrui Yin
• Abstract要約: シングルラベル分類 (SLC) とマルチラベル分類 (MLC) の課題を軽減するために, フレキシブルパスベース早期実行法 (F-PABEE) が提案されている。 F-PABEEは分類器で予測を行い、予測されたクロス層の分布が連続的に類似している場合、早期に終了する。 類似度スコア閾値と忍耐パラメータを同時に調整できるため、従来のSOTA早期退避法であるPABEEよりも柔軟である。
• 参考スコア（独自算出の注目度）: 4.144883091070209
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Computational complexity and overthinking problems have become the bottlenecks for pre-training language models (PLMs) with millions or even trillions of parameters. A Flexible-Patience-Based Early Exiting method (F-PABEE) has been proposed to alleviate the problems mentioned above for single-label classification (SLC) and multi-label classification (MLC) tasks. F-PABEE makes predictions at the classifier and will exit early if predicted distributions of cross-layer are consecutively similar. It is more flexible than the previous state-of-the-art (SOTA) early exiting method PABEE because it can simultaneously adjust the similarity score thresholds and the patience parameters. Extensive experiments show that: (1) F-PABEE makes a better speedup-accuracy balance than existing early exiting strategies on both SLC and MLC tasks. (2) F-PABEE achieves faster inference and better performances on different PLMs such as BERT and ALBERT. (3) F-PABEE-JSKD performs best for F-PABEE with different similarity measures.
• Abstract（参考訳）: 計算複雑性と過度に考える問題は、数百万から数兆のパラメータを持つ事前学習言語モデル(PLM)のボトルネックとなっている。 シングルラベル分類(SLC)およびマルチラベル分類(MLC)タスクにおいて、上述した問題を緩和するために、フレキシブルPatience-Based Early Exiting法(F-PABEE)が提案されている。 f-pabeeは分類器で予測を行い、クロスレイヤーの予測分布が連続的に類似した場合は早期に終了する。 類似度スコアのしきい値と忍耐パラメータを同時に調整できるため、以前のsota(state-of-the-art)早期退避法よりも柔軟である。 1) F-PABEE は SLC と MLC の両方のタスクにおいて,既存の早期終了戦略よりも高速化・精度のバランスが良好である。 2) F-PABEE は BERT や ALBERT などの異なる PLM 上でより高速な推論と性能を実現する。 (3) F-PABEE-JSKDは類似度が異なるF-PABEEに最適である。

関連論文リスト

• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• CEEBERT: Cross-Domain Inference in Early Exit BERT [5.402030962296633]
  CeeBERTは、中間層で観測されたドメイン固有の信頼度から最適な閾値を学習する。 CeeBERTは、BERT/ALBERTモデルを最小限の精度で、$2times$ -3.5times$でスピードアップすることができる。
  論文  参考訳（メタデータ） (2024-05-23T20:36:10Z)
• A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
  半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。 Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。 本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:49:37Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Unifying Token and Span Level Supervisions for Few-Shot Sequence Labeling [18.24907067631541]
  短いショットシーケンスラベリングは、少数のラベル付きサンプルに基づいて新しいクラスを特定することを目的としている。 本稿では,数ショットのシーケンスラベリングのためのCDAP(Consistent Dual Adaptive Prototypeal)ネットワークを提案する。 本モデルでは,3つのベンチマークデータセットに対して,最先端の新たな結果が得られる。
  論文  参考訳（メタデータ） (2023-07-16T04:50:52Z)
• Finding the SWEET Spot: Analysis and Improvement of Adaptive Inference in Low Resource Settings [6.463202903076821]
  トレーニングデータに制限がある場合、適応推論の2つの主要なアプローチであるEarly-ExitとMulti-Modelを比較した。 Early-Exitは、マルチモデルアプローチのオーバーヘッドのために、より高速なトレードオフを提供する。 本稿では,SWEETを提案する。SWEETは,各分類器に独自のモデル重みの集合を割り当てる初期出力微調整法である。
  論文  参考訳（メタデータ） (2023-06-04T09:16:39Z)
• Learning in Imperfect Environment: Multi-Label Classification with Long-Tailed Distribution and Partial Labels [53.68653940062605]
  新しいタスク, 部分ラベリングとLong-Tailed Multi-Label Classification (PLT-MLC) を導入する。 その結果,ほとんどのLT-MLCとPL-MLCは劣化MLCの解決に失敗していることがわかった。 textbfCOrrection $rightarrow$ textbfModificattextbfIon $rightarrow$ balantextbfCe。
  論文  参考訳（メタデータ） (2023-04-20T20:05:08Z)
• SmartBERT: A Promotion of Dynamic Early Exiting Mechanism for Accelerating BERT Inference [18.456002674399244]
  本稿では,SmartBERT と呼ばれる BERT 推論のための動的早期退避と層スキップを併用した新しい動的早期退避法を提案する。 SmartBERTは、いくつかのレイヤを適応的にスキップし、終了するかどうかを適応的に選択できる。 GLUEベンチマークの8つの分類データセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-03-16T12:44:16Z)
• Accelerating BERT Inference for Sequence Labeling via Early-Exit [65.7292767360083]
  我々は最近成功した早期退避機構を拡張し、シークエンスラベリングタスクに対するPTMの推論を高速化する。 また、異なる層で部分トークンを早期に退避させるトークンレベルの早期退避機構も提案する。 当社のアプローチでは,パフォーマンスの低下を最小限に抑えながら,最大66%～75%の推論コストを削減できる。
  論文  参考訳（メタデータ） (2021-05-28T14:39:26Z)
• BERT Loses Patience: Fast and Robust Inference with Early Exit [91.26199404912019]
  本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。 提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
  論文  参考訳（メタデータ） (2020-06-07T13:38:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。