論文の概要: Adaptive Fine-Tuning of Transformer-Based Language Models for Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2202.02617v1
• Date: Sat, 5 Feb 2022 19:20:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-10 12:39:48.311996
• Title: Adaptive Fine-Tuning of Transformer-Based Language Models for Named Entity Recognition
• Title（参考訳）: 名前付きエンティティ認識のための変換器ベース言語モデルの適応的微調整
• Authors: Felix Stollenwerk
• Abstract要約: 微調整言語モデルに対する現在の標準的なアプローチは、一定数の訓練エポックと線形学習率スケジュールを含む。 本稿では,早期停止と独自の学習率スケジュールを用いた適応微調整手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The current standard approach for fine-tuning transformer-based language models includes a fixed number of training epochs and a linear learning rate schedule. In order to obtain a near-optimal model for the given downstream task, a search in optimization hyperparameter space is usually required. In particular, the number of training epochs needs to be adjusted to the dataset size. In this paper, we introduce adaptive fine-tuning, which is an alternative approach that uses early stopping and a custom learning rate schedule to dynamically adjust the number of training epochs to the dataset size. For the example use case of named entity recognition, we show that our approach not only makes hyperparameter search with respect to the number of training epochs redundant, but also leads to improved results in terms of performance, stability and efficiency. This holds true especially for small datasets, where we outperform the state-of-the-art fine-tuning method by a large margin.
• Abstract（参考訳）: 微調整変換言語モデルに対する現在の標準的なアプローチは、一定数の訓練エポックと線形学習率スケジュールを含む。 与えられた下流タスクの近似最適モデルを得るためには、最適化ハイパーパラメータ空間の探索が通常必要となる。 特に、トレーニングエポックの数はデータセットのサイズに合わせて調整する必要があります。 本稿では,早期停止とカスタム学習率スケジュールを用いて,データセットサイズに動的にトレーニングエポック数を調整する手法であるadaptive fine-tuningを提案する。 名前付きエンティティ認識(named entity recognition)の例では、トレーニング期間の冗長性に関してハイパーパラメータ検索を行うだけでなく、パフォーマンス、安定性、効率性の観点から結果が向上することを示す。 これは特に、最先端の微調整メソッドを大きなマージンで上回る小さなデータセットでは当てはまります。

関連論文リスト

• Adaptive Data Optimization: Dynamic Sample Selection with Scaling Laws [59.03420759554073]
  本稿では,オンライン手法でデータ分散を最適化するアルゴリズムであるAdaptive Data Optimization (ADO)を導入する。 ADOは外部の知識やプロキシモデル、モデル更新の変更を必要としない。 ADOは、ドメインごとのスケーリング法則を使用して、トレーニング中の各ドメインの学習ポテンシャルを推定し、データ混合を調整する。
  論文  参考訳（メタデータ） (2024-10-15T17:47:44Z)
• Towards An Online Incremental Approach to Predict Students Performance [0.8287206589886879]
  本稿では,オンライン分類器を更新するためのメモリベースのオンラインインクリメンタル学習手法を提案する。 提案手法は,現在の最先端技術と比較して10%近く向上し,モデル精度の顕著な向上を実現している。
  論文  参考訳（メタデータ） (2024-05-03T17:13:26Z)
• TextGram: Towards a better domain-adaptive pretraining [0.3769303106863454]
  NLPでは、事前学習は大量のテキストデータを使用して下流タスクを実行するための事前知識を得る。 ドメイン適応型データ選択法であるTextGramを提案する。 提案手法は,他の選択手法よりも有効であることを示す。
  論文  参考訳（メタデータ） (2024-04-28T15:44:57Z)
• Adaptive scheduling for adaptive sampling in POS taggers construction [0.27624021966289597]
  音声タグ作成における機械学習の新たな手法として適応的サンプリングのための適応的スケジューリングを提案する。 本研究では,関数モデルとともに幾何学的に学習曲線の形状を分析し,任意のタイミングで学習曲線を増減する。 また,評価の一時的なインフレーションを受けるトレーニングデータベースの領域に注意を払い,サンプリングの堅牢性も向上する。
  論文  参考訳（メタデータ） (2024-02-04T15:02:17Z)
• Navigating Scaling Laws: Compute Optimality in Adaptive Model Training [39.96209967632896]
  近年、ディープラーニングの最先端は、大量のデータに基づいて事前訓練された非常に大きなモデルによって支配されている。 適応的な'モデル、すなわちトレーニング中にその形状を変えることができるモデルを可能にすることで、最適性の概念を拡張します。
  論文  参考訳（メタデータ） (2023-11-06T16:20:28Z)
• Quick-Tune: Quickly Learning Which Pretrained Model to Finetune and How [62.467716468917224]
  本稿では,最適事前学習モデルとハイパーパラメータを共同で探索し,微調整する手法を提案する。 本手法は,一連のデータセット上で,事前学習したモデルの性能に関する知識を伝達する。 得られたアプローチによって、新しいデータセットの正確な事前学習モデルを迅速に選択できることを実証的に実証する。
  論文  参考訳（メタデータ） (2023-06-06T16:15:26Z)
• Active Finetuning: Exploiting Annotation Budget in the Pretraining-Finetuning Paradigm [132.9949120482274]
  本稿では,事前学習ファインタニングパラダイムにおけるアノテーションのためのサンプルの選択に焦点を当てる。 本研究では,アクティブな微調整タスクのためのActiveFTと呼ばれる新しい手法を提案する。 画像分類とセマンティックセグメンテーションの両方に基づくベースラインよりも優れたActiveFTの先行性能と高効率性を示す。
  論文  参考訳（メタデータ） (2023-03-25T07:17:03Z)
• Automatic Tuning of Stochastic Gradient Descent with Bayesian Optimisation [8.340191147575307]
  我々は,潜在ガウス過程と自己回帰的定式化に基づく,オプティマイザのトレースに対する元の確率モデルを導入する。 新しい学習率値によって引き起こされる行動の急激な変化に柔軟に調整する。 まず、コールドスタート実行のための学習率のオンライン適応のために、次に、同様のタスクセットのスケジュールを調整し、新しいタスクのためにウォームスタートするために、一連の問題に取り組むのが適しています。
  論文  参考訳（メタデータ） (2020-06-25T13:18:18Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)
• Tracking Performance of Online Stochastic Learners [57.14673504239551]
  オンラインアルゴリズムは、大規模なバッチにデータを保存したり処理したりすることなく、リアルタイムで更新を計算できるため、大規模な学習環境で人気がある。 一定のステップサイズを使用すると、これらのアルゴリズムはデータやモデル特性などの問題パラメータのドリフトに適応し、適切な精度で最適解を追跡する能力を持つ。 定常仮定に基づく定常状態性能とランダムウォークモデルによるオンライン学習者の追跡性能の関連性を確立する。
  論文  参考訳（メタデータ） (2020-04-04T14:16:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。