論文の概要: TapWeight: Reweighting Pretraining Objectives for Task-Adaptive Pretraining

• arxiv url: http://arxiv.org/abs/2410.10006v1
• Date: Sun, 13 Oct 2024 20:56:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 03:43:37.187624
• Title: TapWeight: Reweighting Pretraining Objectives for Task-Adaptive Pretraining
• Title（参考訳）: TapWeight: タスク適応型事前トレーニングのための事前トレーニング対象の再重み付け
• Authors: Ruiyi Zhang, Sai Ashish Somayajula, Pengtao Xie,
• Abstract要約: TapWeightはタスク適応型事前学習フレームワークで、各事前学習対象の最適な重要性を自動的に決定する。 我々はTapWeightを分子特性予測と自然言語理解タスクの両方に適用し,ベースライン法をはるかに上回った。
• 参考スコア（独自算出の注目度）: 34.93043212352875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale general domain pretraining followed by downstream-specific finetuning has become a predominant paradigm in machine learning. However, discrepancies between the pretraining and target domains can still lead to performance degradation in certain cases, underscoring the need for task-adaptive continued pretraining (TAP). TAP methods typically involve continued pretraining on task-specific unlabeled datasets or introducing additional unsupervised learning objectives to enhance model capabilities. While many TAP methods perform continued pretraining with multiple pretraining objectives, they often determine the tradeoff parameters between objectives manually, resulting in suboptimal outcomes and higher computational costs. In this paper, we propose TapWeight, a task-adaptive pretraining framework which automatically determines the optimal importance of each pretraining objective based on downstream feedback. TapWeight reweights each pretraining objective by solving a multi-level optimization problem. We applied TapWeight to both molecular property prediction and natural language understanding tasks, significantly surpassing baseline methods. Experimental results validate the effectiveness and generalizability of TapWeight.
• Abstract（参考訳）: 大規模汎用ドメイン事前トレーニングと下流特化ファインタニングが機械学習の主要なパラダイムとなっている。 しかしながら、プレトレーニングとターゲットドメインの相違は、タスク適応型継続的プレトレーニング(TAP)の必要性を強調し、一部のケースでパフォーマンスの低下につながる可能性がある。 TAP手法は一般的に、タスク固有の未ラベルデータセットのトレーニングを継続することや、モデル機能を強化するために教師なし学習目的を導入することを含む。 多くのTAP手法は、複数の事前訓練対象で継続事前訓練を行うが、それらはしばしば、目的間のトレードオフパラメータを手動で決定し、最適以下の結果とより高い計算コストをもたらす。 本稿では,タスク適応型事前学習フレームワークであるTapWeightを提案する。 TapWeightは、複数のレベルの最適化問題を解くことで、事前学習目標を重み付けする。 我々はTapWeightを分子特性予測と自然言語理解タスクの両方に適用し,ベースライン法をはるかに上回った。 TapWeightの有効性と一般化性を検証する実験結果が得られた。

関連論文リスト

• Task-Oriented Pre-Training for Drivable Area Detection [5.57325257338134]
  本稿では,冗長なセグメンテーションの提案から始まるタスク指向の事前学習手法を提案する。 次に、コントラスト言語画像事前学習(CLIP)モデルを微調整するための特定カテゴリー強化微調整(SCEF)戦略を導入する。 このアプローチは、手動のアノテートデータを使用してさらに微調整された事前学習モデルの粗いトレーニングデータを生成することができる。
  論文  参考訳（メタデータ） (2024-09-30T10:25:47Z)
• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• Generalizable and Stable Finetuning of Pretrained Language Models on Low-Resource Texts [23.94064492903792]
  微調整PLMにおける注意誘導重み付けに基づく正規化手法を提案する。 本手法は,各ネットワークの重みを,学習可能な注意パラメータによって制御されたタスク固有重みと事前学習重みの混合として表現する。 トレーニングデータセットの2つの分割に2段階の最適化フレームワークを導入し、一般化を改善し、オーバーフィッティングに対処する。
  論文  参考訳（メタデータ） (2024-03-19T17:21:29Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Should We Be Pre-training? An Argument for End-task Aware Training as an Alternative [88.11465517304515]
  一般に、事前学習のステップは、モデルを微調整するタスクについて、ほとんど、あるいは全く直接の知識に依存しない。 エンドタスクと補助目的をマルチタスクすることで、ダウンストリームタスクのパフォーマンスが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-09-15T17:13:18Z)
• Back-Translated Task Adaptive Pretraining: Improving Accuracy and Robustness on Text Classification [5.420446976940825]
  本稿では, LM再学習のためのタスク固有データ量を増加させるBT-TAPT法を提案する。 実験結果から,BT-TAPTは従来の適応型事前学習法よりも低リソースデータと高リソースデータの両方の分類精度が向上し,ノイズに対する堅牢性が向上することがわかった。
  論文  参考訳（メタデータ） (2021-07-22T06:27:35Z)
• Task-specific Objectives of Pre-trained Language Models for Dialogue Adaptation [79.0866650271659]
  PrLMを利用する一般的なプロセスは、まずタスク非依存のLMトレーニング目標を持つ大規模汎用コーパス上で事前トレーニングを行い、タスク固有のトレーニング目標を持つタスクデータセットを微調整する。 タスク固有の目的を持つドメイン内タスク関連コーパスにタスク固有の事前学習を導入する。 この手順は、特定のタスクのモデル理解能力を高めるために、元の2つのステージの間に置かれる。
  論文  参考訳（メタデータ） (2020-09-10T16:46:46Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。