論文の概要: Matching Tasks to Objectives: Fine-Tuning and Prompt-Tuning Strategies for Encoder-Decoder Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2606.24841v1
• Date: Tue, 23 Jun 2026 17:21:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:49.130962
• Title: Matching Tasks to Objectives: Fine-Tuning and Prompt-Tuning Strategies for Encoder-Decoder Pre-trained Language Models
• Title（参考訳）: 目的語へのマッチング課題:エンコーダ・デコーダ事前学習言語モデルのための微調整とプロンプト・チューニング戦略
• Authors: Ahmad Pouramini, Hesham Faili,
• Abstract要約: 本研究では,エンコーダ・デコーダの事前学習言語モデルの性能に及ぼす事前学習対象の影響について検討する。 事前学習と微調整の段階において、複数の目的を組み込むことの利点を強調した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Prompt-based learning has emerged as a dominant paradigm in natural language processing. This study explores the impact of diverse pre-training objectives on the performance of encoder-decoder pre-trained language models across generation and question answering tasks, with a focus on commonsense knowledge retrieval and completion. We highlight the benefits of incorporating multiple objectives during both pre-training and fine-tuning stages. We introduce the Match Task to Objective (MTO) framework and methods for determining the appropriate objective for a given task. This framework offers automated methods to prepare task-related data for adaptation through unsupervised training, based on the identified objective. In the fine-tuning stage, we design novel templates that align with the objectives of the pre-training and adaptation stages. When aligned with task requirements, these strategies can achieve a performance gain of over 120\% compared to conventional methods in few-shot settings. They significantly outperform related works in few-shot settings and exceed the baseline even in full-dataset scenarios. Furthermore, we extend this approach to include prompt-tuning methodologies, providing guidance for more effective soft prompt engineering and optimization. Our strategies significantly enhance prompt-tuning performance as well. These insights hold substantial value, precisely guiding the selection and optimization of models customized for specific tasks. Code is available at https://github.com/puraminy/MTO/
• Abstract（参考訳）: プロンプトに基づく学習は自然言語処理において支配的なパラダイムとして現れてきた。 本研究では,多種多様な事前学習目標が生成・質問応答タスクにおけるエンコーダ・デコーダ事前学習言語モデルの性能に及ぼす影響について検討し,コモンセンス知識の検索と完成に着目した。 事前学習と微調整の段階において、複数の目的を組み込むことの利点を強調した。 本稿では,Match Task to Objective(MTO)フレームワークと,タスクの適切な目的を決定する方法を紹介する。 このフレームワークは、特定された目的に基づいて、教師なしのトレーニングを通じてタスク関連データを適応するための自動化された方法を提供する。 微調整段階においては、事前学習と適応段階の目的に沿った新しいテンプレートを設計する。 タスク要求に合わせると、これらの戦略は、数ショット設定の従来の方法と比較して120倍以上のパフォーマンス向上を達成することができる。 これらは、数ショット設定で関連する作業を大幅に上回り、フルデータセットのシナリオでもベースラインを超えます。 さらに,本手法を拡張して,より効果的なソフトプロンプトエンジニアリングと最適化のためのガイダンスを提供する。 私たちの戦略は、迅速なチューニング性能も著しく向上します。 これらの洞察は重要な価値を持ち、特定のタスク用にカスタマイズされたモデルの選択と最適化を正確に導く。 コードはhttps://github.com/puraminy/MTO/で入手できる。

関連論文リスト

• Task-Oriented Pre-Training for Drivable Area Detection [5.57325257338134]
  本稿では,冗長なセグメンテーションの提案から始まるタスク指向の事前学習手法を提案する。 次に、コントラスト言語画像事前学習(CLIP)モデルを微調整するための特定カテゴリー強化微調整(SCEF)戦略を導入する。 このアプローチは、手動のアノテートデータを使用してさらに微調整された事前学習モデルの粗いトレーニングデータを生成することができる。
  論文  参考訳（メタデータ） (2024-09-30T10:25:47Z)
• Rethinking Meta-Learning from a Learning Lens [35.98940987691948]
  メタラーニングの理論的理解と実践的実践のギャップを埋める方法について考察する。 タスク関係を利用してメタ学習を校正するプラグイン・アンド・プレイ方式TRLearnerを提案する。
  論文  参考訳（メタデータ） (2024-09-13T02:00:16Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)
• MetaICL: Learning to Learn In Context [87.23056864536613]
  そこで我々は,メタICLというメタトレーニングフレームワークを紹介した。このフレームワークでは,事前学習された言語モデルが,大量のトレーニングタスクに対してコンテキスト内学習を行うように調整されている。 その結果,MetaICLは,目標タスクトレーニングデータに対して完全に微調整されたモデルの性能にアプローチ(時には打ち負かす)し,ほぼ8倍のパラメータを持つモデルよりも優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2021-10-29T17:42:08Z)
• Meta-learning with an Adaptive Task Scheduler [93.63502984214918]
  既存のメタ学習アルゴリズムは、一様確率でランダムにメタトレーニングタスクをサンプリングする。 タスクは、限られた数のメタトレーニングタスクを考えると、ノイズや不均衡に有害である可能性が高い。 メタトレーニングプロセスのための適応タスクスケジューラ(ATS)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T22:16:35Z)
• Train No Evil: Selective Masking for Task-Guided Pre-Training [97.03615486457065]
  一般的な事前学習と微調整の間を選択的にマスキングするタスク誘導事前学習段階を付加した3段階のフレームワークを提案する。 提案手法は,50%未満のコストで同等あるいはさらに優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-21T03:14:22Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)
• Structured Prediction for Conditional Meta-Learning [44.30857707980074]
  構造化予測を用いた条件付きメタラーニングの新しい視点を提案する。 タスク適応型構造化メタラーニング(TASML: Task-Adaptive Structured Meta-learning)は,タスク固有目的関数を生成する基本的フレームワークである。 実験により,TASMLは既存のメタラーニングモデルの性能を向上し,ベンチマークデータセットの最先端性を上回った。
  論文  参考訳（メタデータ） (2020-02-20T15:24:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。