論文の概要: Extreme Multi-Domain, Multi-Task Learning With Unified Text-to-Text Transfer Transformers

• arxiv url: http://arxiv.org/abs/2209.10106v1
• Date: Wed, 21 Sep 2022 04:21:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 15:25:06.125382
• Title: Extreme Multi-Domain, Multi-Task Learning With Unified Text-to-Text Transfer Transformers
• Title（参考訳）: テキストからテキストへの統一トランスフォーマーを用いた極限マルチドメインマルチタスク学習
• Authors: Adebayo Oshingbesan, Courage Ekoh, Germann Atakpa, Yonah Byaruagaba
• Abstract要約: マルチドメインテキスト・テキスト・トランスフォーマ(MD-T5)を用いたマルチドメインマルチタスク学習の動作について検討した。 我々は,ベルト型関節前訓練+連続微調整,GPT型関節前訓練+連続微調整,GPT型関節前訓練+連続微調整の3つの一般的なトレーニング戦略を用いて実験を行った。 負の知識伝達と破滅的な忘れは,すべてのモデルにおいて依然として大きな課題であるが,GPTスタイルのジョイントプレトレーニング+ジョイントファインタニング戦略はマルチドメイン・マルチタスク学習において最も有望であることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Text-to-text transformers have shown remarkable success in the task of multi-task transfer learning, especially in natural language processing (NLP). However, while there have been several attempts to train transformers on different domains, there is usually a clear relationship between these domains, e.g.,, code summarization, where the natural language summary describes the code. There have been very few attempts to study how multi-task transfer learning works on tasks in significantly different domains. In this project, we investigated the behavior of multi-domain, multi-task learning using multi-domain text-to-text transfer transformers (MD-T5) on four tasks across two domains - Python Code and Chess. We carried out extensive experiments using three popular training strategies: Bert-style joint pretraining + successive finetuning, GPT-style joint pretraining + successive finetuning, and GPT-style joint pretraining + joint finetuning. Also, we evaluate the model on four metrics - Play Score, Eval Score, BLEU Score, and Multi-Domain Learning Score (MDLS). These metrics measure performance across the various tasks and multi-domain learning. We show that while negative knowledge transfer and catastrophic forgetting are still considerable challenges for all the models, the GPT-style joint pretraining + joint finetuning strategy showed the most promise in multi-domain, multi-task learning as it performs well across all four tasks while still keeping its multi-domain knowledge.
• Abstract（参考訳）: テキストからテキストへのトランスフォーマーは、マルチタスク転送学習、特に自然言語処理(nlp)のタスクにおいて顕著な成功を収めている。 しかし、異なるドメインでトランスフォーマーをトレーニングしようという試みはいくつかあったが、通常、これらのドメイン、例えば、自然言語要約がコードを記述するコード要約のような、明確な関係がある。 マルチタスクトランスファー学習が、異なる領域のタスクでどのように機能するかを研究する試みはほとんどない。 本稿では,Python Code と Chess という2つのドメインにまたがる4つのタスクに対して,MD-T5 を用いたマルチドメインマルチタスク学習の動作について検討した。 バート型ジョイントプリトレーニング+逐次微調整、gpt型ジョイントプリトレーニング+逐次微調整、gpt型ジョイントプリトレーニング+合同微調整の3つの一般的なトレーニング戦略を用いて広範な実験を行った。 また,このモデルを,Play Score,Eval Score,BLEU Score,Multi-Domain Learning Score (MDLS)の4つの指標で評価した。 これらのメトリクスは、さまざまなタスクとマルチドメイン学習のパフォーマンスを測定する。 負の知識伝達と破滅的な忘れ込みは,すべてのモデルにおいて依然として大きな課題であるが,GPTスタイルのジョイントプレトレーニング+ジョイントファインタニング戦略は,マルチドメインのマルチタスク学習において,マルチドメインの知識を維持しつつ,4つのタスクすべてにおいて良好に機能することを示す。

関連論文リスト

• Large Language Model for Multi-Domain Translation: Benchmarking and Domain CoT Fine-tuning [55.107329995417786]
  大規模言語モデル(LLM)は、目覚ましい一般的な理解と生成能力を示している。 我々は、25のドイツ語$Leftrightarrow$ Englishと22の中国語$Leftrightarrow$ Englishテストセットを特徴とするマルチドメイン翻訳のベンチマークを確立する。 本稿では,LLMの内在的マルチドメインインテリジェンスを活用し,翻訳性能を向上させるためのドメインチェーン・オブ・シント(CoT)ファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T16:15:04Z)
• DynaPipe: Optimizing Multi-task Training through Dynamic Pipelines [15.332562681746081]
  本稿では,シーケンス長の変動に対処し,マルチタスクモデルの効率的なトレーニングを実現するための動的マイクロバッチ手法を提案する。 動的プログラミングを用いたマイクロバッチ構築を最適化し、動的パイプラインと通信スケジューリングによるマイクロバッチ実行時間変動を処理する。
  論文  参考訳（メタデータ） (2023-11-17T09:48:45Z)
• TransPrompt v2: A Transferable Prompting Framework for Cross-task Text Classification [37.824031151922604]
  そこで本研究では,テキスト分類タスク間の数ショット学習を実現するための,トランスプロンプトv2を提案する。 類似したタスクを学習するために、メタラーナーを訓練するためにマルチタスクメタ知識獲得(MMA)手順を用いる。 遠隔タスクを学習するために、タスクタイプ記述をプロンプトに注入し、タイプ内およびタイプ間プロンプト埋め込みをキャプチャする。
  論文  参考訳（メタデータ） (2023-08-29T04:16:57Z)
• Compositional Zero-Shot Domain Transfer with Text-to-Text Models [65.32821642379066]
  ゼロショットドメイン転送のための新しい合成転写学習フレームワーク(DoT5)を提案する。 ドメイン内のラベルにアクセスすることなく、DoT5はドメイン知識とタスク知識をマルチタスクで共同で学習する。 DoT5はマルチタスク学習による合成伝達学習の有効性を示す。 特にDoT5は、現在のSOTAを7以上の絶対点の精度でゼロショット転送で上回る。
  論文  参考訳（メタデータ） (2023-03-23T15:58:41Z)
• Domain Curricula for Code-Switched MT at MixMT 2022 [0.0]
  We present our approach and results for the Code-mixed Machine Translation (MixMT) shared task at WMT 2022。 このタスクは2つのサブタスクで構成されており、モノリンガルからコードミキシング機械翻訳(Subtask-1)と、モノリンガル機械翻訳(Subtask-2)にコードミキシングされる。 我々は,複数分野のテキストを事前学習と微調整によって共同学習し,文アライメントの目的と組み合わせた。
  論文  参考訳（メタデータ） (2022-10-31T16:41:57Z)
• MultiMatch: Multi-task Learning for Semi-supervised Domain Generalization [55.06956781674986]
  我々は、各ソースドメインにいくつかのラベル情報がある半教師付きドメイン一般化タスクの解決に頼っている。 我々は、MultiMatchを提案し、FixMatchをマルチタスク学習フレームワークに拡張し、SSDGのための高品質な擬似ラベルを生成する。 提案手法の有効性を検証し,いくつかのベンチマークDGデータセット上で既存の半教師付き手法とSSDG法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-11T14:44:33Z)
• GPPF: A General Perception Pre-training Framework via Sparsely Activated Multi-Task Learning [23.15735672234869]
  本稿では,タスクレベルの動的ネットワークを事前学習するための一般知覚事前学習フレームワークであるGPPFを提案する。 複雑な環境で学習する能力を調べることによって、3つの重要な要素を深層ネットワークに認識し、伝達する。 SIMT (Single Iteration Multiple Tasks) の同時学習を支援するプラグイン・アンド・プレイ型マルチタスク学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-08-03T15:34:35Z)
• FETA: A Benchmark for Few-Sample Task Transfer in Open-Domain Dialogue [70.65782786401257]
  本研究は、オープンドメイン対話における少数サンプルタスク転送のベンチマークであるFETAを導入することにより、対話型タスク転送について検討する。 FETAには10タスクと7タスクがアノテートされた2つの基礎的な会話が含まれており、データセット内タスク転送の研究を可能にする。 3つの人気のある言語モデルと3つの学習アルゴリズムを用いて、132のソースターゲットタスクペア間の転送可能性を分析する。
  論文  参考訳（メタデータ） (2022-05-12T17:59:00Z)
• Channel Exchanging Networks for Multimodal and Multitask Dense Image Prediction [125.18248926508045]
  本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。 CENは異なるモダリティのワーク間でチャネルを動的に交換する。 濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
  論文  参考訳（メタデータ） (2021-12-04T05:47:54Z)
• Disentangling Transfer and Interference in Multi-Domain Learning [53.34444188552444]
  マルチドメイン学習において,干渉や知識伝達が発生する状況について検討する。 干渉と転送を分離する新しいメトリクスを提案し、実験プロトコルをセットアップする。 我々は、CIFAR-100、MiniPlaces、Tiny-ImageNetデータセットでこの結果を示す。
  論文  参考訳（メタデータ） (2021-07-02T01:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。