論文の概要: BabyBear: Cheap inference triage for expensive language models

• arxiv url: http://arxiv.org/abs/2205.11747v1
• Date: Tue, 24 May 2022 03:21:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-26 08:15:51.830690
• Title: BabyBear: Cheap inference triage for expensive language models
• Title（参考訳）: BabyBear:高価な言語モデルのためのヒープ推論トリアージ
• Authors: Leila Khalili, Yao You, John Bohannon
• Abstract要約: 自然言語処理(NLP)タスクのカスケードモデルのためのフレームワークであるBabyBearを紹介する。 一般的なNLPタスクでは、ディープラーニングモデルを観察して学習した、安価で高速なモデルによって、推論負荷の高い割合を達成することができる。 これにより、大規模分類ジョブの計算コストを、全体的な精度を維持しながら50%以上削減できる。
• 参考スコア（独自算出の注目度）: 9.023847175654602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer language models provide superior accuracy over previous models but they are computationally and environmentally expensive. Borrowing the concept of model cascading from computer vision, we introduce BabyBear, a framework for cascading models for natural language processing (NLP) tasks to minimize cost. The core strategy is inference triage, exiting early when the least expensive model in the cascade achieves a sufficiently high-confidence prediction. We test BabyBear on several open source data sets related to document classification and entity recognition. We find that for common NLP tasks a high proportion of the inference load can be accomplished with cheap, fast models that have learned by observing a deep learning model. This allows us to reduce the compute cost of large-scale classification jobs by more than 50% while retaining overall accuracy. For named entity recognition, we save 33% of the deep learning compute while maintaining an F1 score higher than 95% on the CoNLL benchmark.
• Abstract（参考訳）: トランスフォーマー言語モデルは、従来のモデルよりも精度が高いが、計算的かつ環境的に高価である。 コンピュータビジョンからモデルカスケードの概念を基礎として,自然言語処理(NLP)タスクのカスケードモデルのためのフレームワークであるBabyBearを導入する。 コア戦略は推論トリアージであり、カスケード内の最も高価なモデルが十分高い信頼性の予測を達成すると早期に退避する。 文書分類とエンティティ認識に関連するいくつかのオープンソースデータセット上でBabyBearをテストする。 一般的なNLPタスクでは、ディープラーニングモデルを観察して学習した、安価で高速なモデルによって、推論負荷の高い割合を達成することができる。 これにより、大規模分類ジョブの計算コストを、全体的な精度を維持しながら50%以上削減できる。 名前付きエンティティ認識では、CoNLLベンチマークでF1スコアを95%以上維持しながら、ディープラーニング計算の33%を節約する。

関連論文リスト

• Model Cascading for Code: Reducing Inference Costs with Model Cascading for LLM Based Code Generation [20.445496441396028]
  本稿では,各モデルがそれぞれのソリューションに対して一連のテストケースを生成し,実行させ,その結果をカスケードしきい値として用いることを提案する。 モデルカスケード戦略は,1つのモデルで出力を生成するよりも計算コストを削減できるが,精度は向上することを示す。
  論文  参考訳（メタデータ） (2024-05-24T16:20:04Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• $C^3$: Confidence Calibration Model Cascade for Inference-Efficient Cross-Lingual Natural Language Understanding [28.853593305486832]
  言語間自然言語理解(NLU)は自然言語処理(NLP)において重要な課題である 近年,多言語事前学習言語モデル (mPLM) の進歩により,これらのタスクの性能が著しく向上している。 既存のモデルカスケード法は、様々なモデルから電流入力を処理できる最も軽量なモデルを選択して、推論効率を向上させる。
  論文  参考訳（メタデータ） (2024-02-25T05:07:56Z)
• MiniSUPERB: Lightweight Benchmark for Self-supervised Speech Models [90.99663022952498]
  SuperBは自己教師付き学習(SSL)音声モデルの様々なタスクにおける一般化性を評価するために提案された。 SuperBは大規模なデータセットと多様なタスクのために高い計算コストを発生させる。 我々は,SUPERBに匹敵する結果のSSL音声モデルを効率よく評価する軽量ベンチマークであるMiniSUPERBを紹介する。
  論文  参考訳（メタデータ） (2023-05-30T13:07:33Z)
• Part-Based Models Improve Adversarial Robustness [57.699029966800644]
  人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。 我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。 実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T15:41:47Z)
• bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
  本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
  論文  参考訳（メタデータ） (2021-10-14T04:05:25Z)
• Cold-start Active Learning through Self-supervised Language Modeling [15.551710499866239]
  アクティブラーニングは、ラベルに最も重要な例を選択することで、アノテーションのコストを削減することを目的としている。 BERTでは、マスク付き言語モデリング損失に基づく単純な戦略を開発する。 他のベースラインと比較して,本手法はより少ないサンプリングイテレーションと時間で精度が高い。
  論文  参考訳（メタデータ） (2020-10-19T14:09:17Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。