論文の概要: Friend-training: Learning from Models of Different but Related Tasks

• arxiv url: http://arxiv.org/abs/2301.13683v1
• Date: Tue, 31 Jan 2023 15:00:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-01 16:10:31.921658
• Title: Friend-training: Learning from Models of Different but Related Tasks
• Title（参考訳）: フレンドトレーニング:異なるが関連するタスクのモデルから学ぶ
• Authors: Mian Zhang, Lifeng Jin, Linfeng Song, Haitao Mi, Xiabing Zhou and Dong Yu
• Abstract要約: フレンドトレーニングは、クロスタスクのセルフトレーニングフレームワークである。 異なるタスクを行うために訓練されたモデルは、反復的なトレーニング、擬似ラベル付け、再訓練プロセスで使用される。 フレンドトレーニングフレームワークでトレーニングしたモデルは,強靭なベースラインと比較して,最高のパフォーマンスが得られることを示す。
• 参考スコア（独自算出の注目度）: 44.25961408685873
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current self-training methods such as standard self-training, co-training, tri-training, and others often focus on improving model performance on a single task, utilizing differences in input features, model architectures, and training processes. However, many tasks in natural language processing are about different but related aspects of language, and models trained for one task can be great teachers for other related tasks. In this work, we propose friend-training, a cross-task self-training framework, where models trained to do different tasks are used in an iterative training, pseudo-labeling, and retraining process to help each other for better selection of pseudo-labels. With two dialogue understanding tasks, conversational semantic role labeling and dialogue rewriting, chosen for a case study, we show that the models trained with the friend-training framework achieve the best performance compared to strong baselines.
• Abstract（参考訳）: 標準的な自己学習、コトレーニング、トリトレーニングなどの現在の自己学習方法は、入力機能、モデルアーキテクチャ、トレーニングプロセスの違いを利用して、単一のタスクでモデルパフォーマンスを改善することに集中することが多い。 しかし、自然言語処理における多くのタスクは言語に関して異なるが関連する側面を持ち、1つのタスクのために訓練されたモデルは、他の関連するタスクのための優れた教師になり得る。 そこで本研究では,異なるタスクを訓練したモデルが反復学習や擬似ラベル,再トレーニングプロセスに使用されるクロスタスクの自己学習フレームワークであるfriend-trainingを提案する。 対話理解タスクである対話的セマンティクスロールラベリングと対話リライトの2つを用いて,友人訓練フレームワークで訓練されたモデルが,強力なベースラインと比較して最高のパフォーマンスを達成することを示す。

関連論文リスト

• Musketeer: Joint Training for Multi-task Vision Language Model with Task Explanation Prompts [75.75548749888029]
  本稿では,全てのタスクに対してパラメータを共同で訓練し,複数の異種タスク間で完全に共有する視覚言語モデルを提案する。 単一のモデルで、Musteteerは単一のタスクでトレーニングされた強いベースラインに匹敵する結果を得る。
  論文  参考訳（メタデータ） (2023-05-11T17:57:49Z)
• Context-Aware Language Modeling for Goal-Oriented Dialogue Systems [84.65707332816353]
  我々は、部分的に観察されたマルコフ決定過程としてゴール指向対話を定式化する。 目的を意識して言語モデルを微調整する,シンプルで効果的な手法を考案する。 本研究では,AirDialogue を用いた実践的なフライト予約タスクについて評価する。
  論文  参考訳（メタデータ） (2022-04-18T17:23:11Z)
• MetaICL: Learning to Learn In Context [87.23056864536613]
  そこで我々は,メタICLというメタトレーニングフレームワークを紹介した。このフレームワークでは,事前学習された言語モデルが,大量のトレーニングタスクに対してコンテキスト内学習を行うように調整されている。 その結果,MetaICLは,目標タスクトレーニングデータに対して完全に微調整されたモデルの性能にアプローチ(時には打ち負かす)し,ほぼ8倍のパラメータを持つモデルよりも優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2021-10-29T17:42:08Z)
• Boosting a Model Zoo for Multi-Task and Continual Learning [15.110807414130923]
  モデル動物園」はモデルのアンサンブルを構築するアルゴリズムであり、それぞれが非常に小さく、小さなタスクセットで訓練されている。 モデルZooは,マルチタスクおよび連続学習における最先端手法と比較して,予測精度が大きく向上する。
  論文  参考訳（メタデータ） (2021-06-06T04:25:09Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)
• SOLOIST: Building Task Bots at Scale with Transfer Learning and Machine Teaching [81.45928589522032]
  トランスフォーマーに基づく自動回帰言語モデルを用いて,モジュール型タスク指向対話システムをパラメータ化する。 タスクグラウンド応答生成モデルである異種ダイアログコーパスの事前学習を行う。 実験により、SOLOISTは、よく研究されたタスク指向のダイアログベンチマーク上で、新しい最先端のダイアログを生成する。
  論文  参考訳（メタデータ） (2020-05-11T17:58:34Z)
• Can You Put it All Together: Evaluating Conversational Agents' Ability to Blend Skills [31.42833993937429]
  孤立した能力に向けて訓練されたモデルを組み合わせる方法について検討する。 我々は、これらの機能が自然な会話の中でどのように連携するかを分析するために、新しいデータセットであるBlendedSkillTalkを提案する。 実験の結果,特定の機能に焦点をあてたタスクを複数タスクでマルチタスクすることで,会話性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-04-17T20:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。