論文の概要: Improving Multi-task Generalization Ability for Neural Text Matching via
Prompt Learning
- arxiv url: http://arxiv.org/abs/2204.02725v1
- Date: Wed, 6 Apr 2022 11:01:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-07 15:00:21.805384
- Title: Improving Multi-task Generalization Ability for Neural Text Matching via
Prompt Learning
- Title（参考訳）: プロンプト学習によるニューラルテキストマッチングのマルチタスク一般化能力の向上
- Authors: Shicheng Xu, Liang Pang, Huawei Shen, Xueqi Cheng
- Abstract要約: 最近の最先端のニューラルテキストマッチングモデル(PLM)は、様々なタスクに一般化することが難しい。
我々は、特殊化一般化訓練戦略を採用し、それをMatch-Promptと呼ぶ。
特殊化段階では、異なるマッチングタスクの記述はいくつかのプロンプトトークンにマッピングされる。
一般化段階において、テキストマッチングモデルは、多種多様なマッチングタスクを訓練することにより、本質的なマッチング信号を探索する。
- 参考スコア（独自算出の注目度）: 54.66399120084227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text matching is a fundamental technique in both information retrieval and
natural language processing. Text matching tasks share the same paradigm that
determines the relationship between two given texts. Evidently, the
relationships vary from task to task, e.g. relevance in document retrieval,
semantic alignment in paraphrase identification and answerable judgment in
question answering. However, the essential signals for text matching remain in
a finite scope, i.e. exact matching, semantic matching, and inference matching.
Recent state-of-the-art neural text matching models, e.g. pre-trained language
models (PLMs), are hard to generalize to different tasks. It is because the
end-to-end supervised learning on task-specific dataset makes model
overemphasize the data sample bias and task-specific signals instead of the
essential matching signals, which ruins the generalization of model to
different tasks. To overcome this problem, we adopt a
specialization-generalization training strategy and refer to it as
Match-Prompt. In specialization stage, descriptions of different matching tasks
are mapped to only a few prompt tokens. In generalization stage, text matching
model explores the essential matching signals by being trained on diverse
multiple matching tasks. High diverse matching tasks avoid model fitting the
data sample bias on a specific task, so that model can focus on learning the
essential matching signals. Meanwhile, the prompt tokens obtained in the first
step are added to the corresponding tasks to help the model distinguish
different task-specific matching signals. Experimental results on eighteen
public datasets show that Match-Prompt can significantly improve multi-task
generalization capability of PLMs in text matching, and yield better in-domain
multi-task, out-of-domain multi-task and new task adaptation performance than
task-specific model.
- Abstract（参考訳）: テキストマッチングは情報検索と自然言語処理の両方において基本的な技術である。
テキストマッチングタスクは、2つの与えられたテキスト間の関係を決定する同じパラダイムを共有する。
明らかに、関係はタスクごとに異なり、例えば、文書検索における関連性、パラフレーズ識別における意味的アライメント、質問応答における回答可能な判断などである。
しかし、テキストマッチングに必要な信号は、正確なマッチング、セマンティックマッチング、推論マッチングといった有限の範囲に留まっている。
最近の最先端のニューラルテキストマッチングモデル、例えば事前学習言語モデル(plm)は、異なるタスクに一般化するのは難しい。
これは、タスク固有のデータセットにおけるエンドツーエンドの教師付き学習によって、モデルが異なるタスクへのモデルの一般化を損なう本質的なマッチング信号ではなく、データサンプルバイアスとタスク固有の信号が過大に強調されるためである。
この問題を克服するために,特殊化一般化訓練戦略を採用し,マッチプロンプトと呼ぶ。
特殊化段階では、異なるマッチングタスクの記述はいくつかのプロンプトトークンにマッピングされる。
一般化段階において、テキストマッチングモデルは、多様な複数のマッチングタスクで訓練することで本質的マッチング信号を探索する。
多様なマッチングタスクは、特定のタスクにデータサンプルバイアスを適合させるモデルを避けるため、モデルは本質的なマッチング信号の学習に集中することができる。
一方、第1ステップで得られたプロンプトトークンが対応するタスクに追加され、モデルが異なるタスク固有のマッチング信号の識別を支援する。
18のパブリックデータセットにおける実験結果は、match-promptがテキストマッチングにおけるplmのマルチタスク一般化能力を大幅に向上し、ドメイン内マルチタスク、ドメイン外マルチタスク、タスク固有のモデルよりも新しいタスク適応性能が得られることを示している。
関連論文リスト
- Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - TransPrompt v2: A Transferable Prompting Framework for Cross-task Text
Classification [37.824031151922604]
そこで本研究では,テキスト分類タスク間の数ショット学習を実現するための,トランスプロンプトv2を提案する。
類似したタスクを学習するために、メタラーナーを訓練するためにマルチタスクメタ知識獲得(MMA)手順を用いる。
遠隔タスクを学習するために、タスクタイプ記述をプロンプトに注入し、タイプ内およびタイプ間プロンプト埋め込みをキャプチャする。
論文 参考訳（メタデータ） (2023-08-29T04:16:57Z) - Effective Cross-Task Transfer Learning for Explainable Natural Language
Inference with T5 [50.574918785575655]
2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。
この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
論文 参考訳（メタデータ） (2022-10-31T13:26:08Z) - Unsupervised Mismatch Localization in Cross-Modal Sequential Data [5.932046800902776]
我々は、コンテンツミスマッチしたクロスモーダルデータ間の関係を推測できる教師なし学習アルゴリズムを開発した。
本稿では,音声生成過程を階層的に構造化された潜在変数に分解する,ミスマッチ局所化変分自動符号化(ML-VAE)という階層型ベイズディープラーニングモデルを提案する。
実験の結果,ML-VAEは人間のアノテーションを必要とせず,テキストと音声のミスマッチの特定に成功した。
論文 参考訳（メタデータ） (2022-05-05T14:23:27Z) - Grad2Task: Improved Few-shot Text Classification Using Gradients for
Task Representation [24.488427641442694]
本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。
私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。
我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
論文 参考訳（メタデータ） (2022-01-27T15:29:30Z) - Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。
マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。
タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
論文 参考訳（メタデータ） (2021-04-28T16:45:56Z) - Learning to Match Jobs with Resumes from Sparse Interaction Data using
Multi-View Co-Teaching Network [83.64416937454801]
ジョブ列のインタラクションデータは疎結合でノイズが多く、ジョブ列のマッチングアルゴリズムのパフォーマンスに影響する。
求人情報マッチングのための疎相互作用データから,新しいマルチビュー協調学習ネットワークを提案する。
我々のモデルは求人マッチングの最先端手法より優れている。
論文 参考訳（メタデータ） (2020-09-25T03:09:54Z) - Low Resource Multi-Task Sequence Tagging -- Revisiting Dynamic
Conditional Random Fields [67.51177964010967]
異なるタスクに対するラベルシーケンス間の依存関係を利用する低リソースマルチタスクシーケンスタグの異なるモデルを比較した。
タスク予測間の相互依存性の明示的モデリングは、通常のマルチタスクモデルと同様にシングルタスクよりも優れていることがわかった。
論文 参考訳（メタデータ） (2020-05-01T07:11:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。