論文の概要: Temporally Correlated Task Scheduling for Sequence Learning

• arxiv url: http://arxiv.org/abs/2007.05290v2
• Date: Fri, 2 Jul 2021 12:39:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 22:00:28.633126
• Title: Temporally Correlated Task Scheduling for Sequence Learning
• Title（参考訳）: シーケンス学習のための時間相関タスクスケジューリング
• Authors: Xueqing Wu, Lewen Wang, Yingce Xia, Weiqing Liu, Lijun Wu, Shufang Xie, Tao Qin, Tie-Yan Liu
• Abstract要約: 多くのアプリケーションにおいて、シーケンス学習タスクは通常、複数の時間的に相関した補助タスクと関連付けられている。 シーケンス学習に学習可能なスケジューラを導入し、トレーニングのための補助的なタスクを適応的に選択できる。 本手法は,同時翻訳とストックトレンド予測の性能を著しく向上させる。
• 参考スコア（独自算出の注目度）: 143.70523777803723
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequence learning has attracted much research attention from the machine learning community in recent years. In many applications, a sequence learning task is usually associated with multiple temporally correlated auxiliary tasks, which are different in terms of how much input information to use or which future step to predict. For example, (i) in simultaneous machine translation, one can conduct translation under different latency (i.e., how many input words to read/wait before translation); (ii) in stock trend forecasting, one can predict the price of a stock in different future days (e.g., tomorrow, the day after tomorrow). While it is clear that those temporally correlated tasks can help each other, there is a very limited exploration on how to better leverage multiple auxiliary tasks to boost the performance of the main task. In this work, we introduce a learnable scheduler to sequence learning, which can adaptively select auxiliary tasks for training depending on the model status and the current training data. The scheduler and the model for the main task are jointly trained through bi-level optimization. Experiments show that our method significantly improves the performance of simultaneous machine translation and stock trend forecasting.
• Abstract（参考訳）: 近年、シーケンス学習は機械学習コミュニティから多くの研究の注目を集めている。 多くのアプリケーションにおいて、シーケンス学習タスクは、通常、複数の時間的に相関した補助タスクと関連付けられている。 例えば (i)同時機械翻訳では、異なるレイテンシで翻訳を行うことができる(つまり、翻訳の前に読み待ちする入力語数)。 (二)株価トレンド予測においては、将来日(例えば、明日、明日の翌日)の株価を予測することができる。 これらの時間的相関タスクが互いに助け合うことは明らかだが、メインタスクの性能を高めるために複数の補助タスクをよりよく活用する方法について、非常に限定的な調査が行われている。 本研究では,学習用補助タスクをモデル状態と現在のトレーニングデータに応じて適応的に選択できるシーケンス学習のための学習可能なスケジューラを提案する。 メインタスクのスケジューラとモデルは、バイレベル最適化によって共同で訓練される。 実験の結果,本手法は同時翻訳と株価トレンド予測の性能を著しく向上させることがわかった。

関連論文リスト

• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• Learning Easily Updated General Purpose Text Representations with Adaptable Task-Specific Prefixes [22.661527526471996]
  ダウンストリームタスク毎にトレーニング済みの大きな言語モデルを微調整すると、計算負荷が発生する。 そこで本研究では,ソースタスクを用いてテキストの固定表現を学習するためのプレフィックスベースの手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T21:31:03Z)
• Effective Cross-Task Transfer Learning for Explainable Natural Language Inference with T5 [50.574918785575655]
  2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。 この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-31T13:26:08Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
  マルチタスク学習の研究はコミュニティから大きな注目を集めている。 目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。 従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。 本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。 さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T11:57:18Z)
• Transfer Learning in Conversational Analysis through Reusing Preprocessing Data as Supervisors [52.37504333689262]
  単一タスク学習におけるノイズの多いラベルの使用は、過度に適合するリスクを増大させる。 補助的なタスクは、同じトレーニング中に一次タスク学習のパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2021-12-02T08:40:42Z)
• Learning Multiple Dense Prediction Tasks from Partially Annotated Data [41.821234589075445]
  マルチタスク部分教師付き学習(multi-task part-supervised learning)と呼ぶ部分注釈付きデータ上で,複数の密接な予測タスクを共同で学習する。 本稿では,タスク関係を利用したマルチタスク学習手法を提案する。 提案手法は,既存の半教師付き学習手法や関連手法を3つの標準ベンチマークで上回り,非ラベルなタスクで効果的に活用できることを厳密に実証する。
  論文  参考訳（メタデータ） (2021-11-29T19:03:12Z)
• Multi-Task Time Series Forecasting With Shared Attention [15.294939035413217]
  マルチタスク時系列予測のための2つの自己注目型共有方式を提案する。 提案アーキテクチャは,最先端の単一タスク予測ベースラインを上回るだけでなく,RNNベースのマルチタスク予測手法よりも優れている。
  論文  参考訳（メタデータ） (2021-01-24T04:25:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。