論文の概要: Analyzing Multi-Task Learning for Abstractive Text Summarization

• arxiv url: http://arxiv.org/abs/2210.14606v1
• Date: Wed, 26 Oct 2022 10:22:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 13:12:03.922337
• Title: Analyzing Multi-Task Learning for Abstractive Text Summarization
• Title（参考訳）: 抽象テキスト要約のためのマルチタスク学習の分析
• Authors: Frederic Kirstein, Jan Philip Wahle, Terry Ruas, Bela Gipp
• Abstract要約: タスクファミリーが抽象的なテキスト要約に与える影響について検討する。 タスクを逐次的、同時、連続的なマルチタスク学習という3つの戦略の1つに分類する。 タスクファミリーの特定の組み合わせが下流のパフォーマンスに肯定的な影響を及ぼすことがわかった。
• 参考スコア（独自算出の注目度）: 3.8768839735240737
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Despite the recent success of multi-task learning and pre-finetuning for natural language understanding, few works have studied the effects of task families on abstractive text summarization. Task families are a form of task grouping during the pre-finetuning stage to learn common skills, such as reading comprehension. To close this gap, we analyze the influence of multi-task learning strategies using task families for the English abstractive text summarization task. We group tasks into one of three strategies, i.e., sequential, simultaneous, and continual multi-task learning, and evaluate trained models through two downstream tasks. We find that certain combinations of task families (e.g., advanced reading comprehension and natural language inference) positively impact downstream performance. Further, we find that choice and combinations of task families influence downstream performance more than the training scheme, supporting the use of task families for abstractive text summarization.
• Abstract（参考訳）: 最近のマルチタスク学習や自然言語理解のための事前調整の成功にもかかわらず、抽象的テキスト要約に対するタスクファミリーの影響についての研究は少ない。 タスクファミリ(task family)は、事前調整段階のタスクグルーピングの一種で、理解を読むなど、共通のスキルを学ぶ。 このギャップを埋めるために、英語抽象テキスト要約タスクにおけるタスクファミリーを用いたマルチタスク学習戦略の影響を分析する。 タスクをシーケンシャル,同時,継続的なマルチタスク学習という3つの戦略の1つにグループ化し,2つの下流タスクを通じてトレーニングモデルを評価する。 タスクファミリーの特定の組み合わせ(例えば、高度な読解と自然言語推論)が下流のパフォーマンスに肯定的な影響を及ぼすことがわかった。 さらに,タスクファミリの選択と組み合わせがトレーニング手法よりも下流のパフォーマンスに影響を与え,抽象的なテキスト要約のためのタスクファミリの使用を支援することが判明した。

関連論文リスト

• Identifying Task Groupings for Multi-Task Learning Using Pointwise V-Usable Information [11.545160697026514]
  ポイントワイド V-Uable Information (PVI) を用いたタスク難易度に基づくタスク関連度尺度を提案する。 我々は, 一般, バイオメディカル, 臨床領域において, 15個のNLPデータセットを用いたタスクグループ化の実現可能性を評価する実験を行った。
  論文  参考訳（メタデータ） (2024-10-16T17:49:45Z)
• Effective Cross-Task Transfer Learning for Explainable Natural Language Inference with T5 [50.574918785575655]
  2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。 この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-31T13:26:08Z)
• Coarse-to-Fine: Hierarchical Multi-task Learning for Natural Language Understanding [51.31622274823167]
  本稿では,各タスクの下位レベルを全タスクに共有し,中間レベルを異なるグループに分割し,上位レベルを各タスクに割り当てる,粗大なパラダイムを持つ階層型フレームワークを提案する。 これにより、すべてのタスクから基本言語特性を学習し、関連するタスクのパフォーマンスを高め、無関係なタスクから負の影響を減らすことができる。
  論文  参考訳（メタデータ） (2022-08-19T02:46:20Z)
• Saliency-Regularized Deep Multi-Task Learning [7.3810864598379755]
  マルチタスク学習は、知識を共有するために複数の学習タスクを強制し、一般化能力を改善する。 現代のディープマルチタスク学習は、潜在機能とタスク共有を共同で学習することができるが、それらはタスク関係において不明瞭である。 本稿では,潜在的特徴と明示的な課題関係を共同で学習するマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-03T20:26:44Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Exploring Multitask Learning for Low-Resource AbstractiveSummarization [0.5801044612920816]
  多くのタスクの組み合わせに対して、マルチタスク設定で訓練されたモデルが抽象的な要約のために訓練されたモデルより優れていることを示す。 また、あるタスクは他のタスクと組み合わせるだけでなく、異なるアーキテクチャやトレーニングコーパスを使用する場合にも、抽象的な要約に一貫した利益が得られます。
  論文  参考訳（メタデータ） (2021-09-17T14:23:58Z)
• Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
  我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。 マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。 タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-28T16:45:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。