論文の概要: The Right Tool for the Job: Matching Model and Instance Complexities

• arxiv url: http://arxiv.org/abs/2004.07453v2
• Date: Sat, 9 May 2020 03:45:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 20:51:16.569348
• Title: The Right Tool for the Job: Matching Model and Instance Complexities
• Title（参考訳）: ジョブに適したツール: モデルとインスタンスの複雑さのマッチング
• Authors: Roy Schwartz, Gabriel Stanovsky, Swabha Swayamdipta, Jesse Dodge and Noah A. Smith
• Abstract要約: NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
• 参考スコア（独自算出の注目度）: 62.95183777679024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As NLP models become larger, executing a trained model requires significant computational resources incurring monetary and environmental costs. To better respect a given inference budget, we propose a modification to contextual representation fine-tuning which, during inference, allows for an early (and fast) "exit" from neural network calculations for simple instances, and late (and accurate) exit for hard instances. To achieve this, we add classifiers to different layers of BERT and use their calibrated confidence scores to make early exit decisions. We test our proposed modification on five different datasets in two tasks: three text classification datasets and two natural language inference benchmarks. Our method presents a favorable speed/accuracy tradeoff in almost all cases, producing models which are up to five times faster than the state of the art, while preserving their accuracy. Our method also requires almost no additional training resources (in either time or parameters) compared to the baseline BERT model. Finally, our method alleviates the need for costly retraining of multiple models at different levels of efficiency; we allow users to control the inference speed/accuracy tradeoff using a single trained model, by setting a single variable at inference time. We publicly release our code.
• Abstract（参考訳）: nlpモデルが大きくなるにつれて、訓練されたモデルの実行には、金銭的および環境的コストを伴う重要な計算資源が必要である。 与えられた推論予算をよりよく尊重するため、我々は、推論中にニューラルネットワークの単純なインスタンスの計算から早期(かつ高速)に、そしてハードインスタンスの遅い(そして正確な)終了を可能にする、文脈表現の微調整の修正を提案する。 これを達成するために、bertの異なる層に分類器を追加し、その校正された信頼度スコアを使用して早期の出口決定を行います。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、提案する5つのデータセットの修正をテストした。 提案手法は,ほぼすべてのケースにおいて良好な速度/精度のトレードオフを示し,精度を保ちながら,最先端技術よりも最大5倍高速なモデルを生成する。 我々の手法は、ベースラインBERTモデルと比較して、ほとんど追加のトレーニングリソース(時間またはパラメータ)を必要としない。 最後に,提案手法は,複数のモデルを異なる効率レベルで再トレーニングする必要を軽減し,単一のトレーニングモデルを用いて,推論速度と精度のトレードオフを,推論時に1つの変数を設定することで制御可能にする。 コードを公開しています。

関連論文リスト

• Self-calibration for Language Model Quantization and Pruning [38.00221764773372]
  量子化とプルーニングはモデル圧縮の基本的なアプローチである。 トレーニング後の環境では、最先端の量子化とプルーニングの方法はキャリブレーションデータを必要とする。 自己校正を解決策として提案する。
  論文  参考訳（メタデータ） (2024-10-22T16:50:00Z)
• NUDGE: Lightweight Non-Parametric Fine-Tuning of Embeddings for Retrieval [0.7646713951724011]
  既存のアプローチは、事前訓練されたモデル自体を微調整するか、より効率的に、事前訓練されたモデルの出力を変換するためにアダプタモデルを訓練する。 NUDGEは、新しい非パラメトリック埋め込みファインチューニングアプローチのファミリーである。 NUDGEは、$k$-NN検索の精度を最大化するために、データレコードの埋め込みを直接修正する。
  論文  参考訳（メタデータ） (2024-09-04T00:10:36Z)
• Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised Language Understanding [38.11411155621616]
  我々は,主に半教師あり学習の手法として,自己学習について研究している。 我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。 UPETは性能と効率の面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-19T02:18:29Z)
• Finding the SWEET Spot: Analysis and Improvement of Adaptive Inference in Low Resource Settings [6.463202903076821]
  トレーニングデータに制限がある場合、適応推論の2つの主要なアプローチであるEarly-ExitとMulti-Modelを比較した。 Early-Exitは、マルチモデルアプローチのオーバーヘッドのために、より高速なトレードオフを提供する。 本稿では,SWEETを提案する。SWEETは,各分類器に独自のモデル重みの集合を割り当てる初期出力微調整法である。
  論文  参考訳（メタデータ） (2023-06-04T09:16:39Z)
• Gradient-Free Structured Pruning with Unlabeled Data [57.999191898036706]
  ラベルのないデータのみを使用する勾配のない構造化プルーニングフレームワークを提案する。 元々のFLOPカウントの最大40%は、考慮されたすべてのタスクで4%未満の精度で削減できる。
  論文  参考訳（メタデータ） (2023-03-07T19:12:31Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)
• Fast Uncertainty Quantification for Deep Object Pose Estimation [91.09217713805337]
  深層学習に基づくオブジェクトポーズ推定は、しばしば信頼できない、自信過剰である。 本研究では,6-DoFオブジェクトのポーズ推定のための,シンプルで効率的かつプラグアンドプレイなUQ手法を提案する。
  論文  参考訳（メタデータ） (2020-11-16T06:51:55Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。