論文の概要: Learning to Multi-Task Learn for Better Neural Machine Translation
- arxiv url: http://arxiv.org/abs/2001.03294v1
- Date: Fri, 10 Jan 2020 03:12:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-12 22:36:17.586254
- Title: Learning to Multi-Task Learn for Better Neural Machine Translation
- Title(参考訳): ニューラルマシン翻訳を改良するマルチタスク学習への学習
- Authors: Poorya Zaremoodi, Gholamreza Haffari
- Abstract要約: マルチタスク学習は、言語関連バイアスをニューラルネットワーク翻訳モデルに注入するエレガントなアプローチである。
本稿では,学習スケジュールの学習,マルチタスク学習のための新しいフレームワークを提案する。
実験の結果、自動学習したトレーニングスケジューラがベストと競い合っており、最大1.1BLEUスコアが向上している。
- 参考スコア(独自算出の注目度): 53.06405021125476
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scarcity of parallel sentence pairs is a major challenge for training high
quality neural machine translation (NMT) models in bilingually low-resource
scenarios, as NMT is data-hungry. Multi-task learning is an elegant approach to
inject linguistic-related inductive biases into NMT, using auxiliary syntactic
and semantic tasks, to improve generalisation. The challenge, however, is to
devise effective training schedules, prescribing when to make use of the
auxiliary tasks during the training process to fill the knowledge gaps of the
main translation task, a setting referred to as biased-MTL. Current approaches
for the training schedule are based on hand-engineering heuristics, whose
effectiveness vary in different MTL settings. We propose a novel framework for
learning the training schedule, ie learning to multi-task learn, for the MTL
setting of interest. We formulate the training schedule as a Markov decision
process which paves the way to employ policy learning methods to learn the
scheduling policy. We effectively and efficiently learn the training schedule
policy within the imitation learning framework using an oracle policy algorithm
that dynamically sets the importance weights of auxiliary tasks based on their
contributions to the generalisability of the main NMT task. Experiments on
low-resource NMT settings show the resulting automatically learned training
schedulers are competitive with the best heuristics, and lead to up to +1.1
BLEU score improvements.
- Abstract(参考訳): 並列文ペアの不足は、nmtがデータハングリーであるため、両言語による低リソースシナリオで高品質なニューラルマシン翻訳(nmt)モデルをトレーニングするための大きな課題である。
マルチタスク学習は、言語関連帰納バイアスをNMTに注入するエレガントな手法であり、補助構文および意味的タスクを用いて一般化を改善する。
しかし、課題は効果的なトレーニングスケジュールを策定することであり、トレーニングプロセス中に補助的なタスクをいつ利用すべきかを規定して、主翻訳タスクの知識ギャップを埋めることである。
トレーニングスケジュールの現在のアプローチは、様々なMTL設定で有効性が異なるハンドエンジニアリングヒューリスティックに基づいている。
そこで本研究では,MTL設定のためのトレーニングスケジュール学習,マルチタスク学習のための新しいフレームワークを提案する。
学習スケジュールをマルコフ決定プロセスとして定式化し,スケジューリング方針を学習するための政策学習手法の活用方法を提案する。
我々は,メインのnmtタスクの汎用性への貢献度に基づいて補助タスクの重要性度を動的に設定するoracle policyアルゴリズムを用いて,模倣学習フレームワーク内のトレーニングスケジュールポリシーを効果的かつ効率的に学習する。
低リソースのnmt設定による実験では、自動学習されたトレーニングスケジューラは最高のヒューリスティックと競争力があり、最大+1.1 bleuスコアの改善につながる。
関連論文リスト
- MT2ST: Adaptive Multi-Task to Single-Task Learning [22.210886585639063]
Multi-Task to Single-Task (MT2ST) は単語埋め込み訓練の効率と精度を大幅に向上させる新しい手法である。
実験により,MT2STはシングルタスク学習と比較してトレーニング時間を67%短縮できることが示された。
論文 参考訳(メタデータ) (2024-06-26T03:12:07Z) - From Instance Training to Instruction Learning: Task Adapters Generation from Instructions [29.452006810725184]
本稿では,事例学習の欠点に対処するために,人間の学習をシミュレートすることに焦点を当てる。
タスク固有のモデルを自動的に構築するTAGI(Task Adapters from Instructions)を導入する。
超自然的インストラクションとP3データセットを用いたTAGIの評価を行った。
論文 参考訳(メタデータ) (2024-06-18T08:14:28Z) - Distilling Instruction-following Abilities of Large Language Models with Task-aware Curriculum Planning [12.651588927599441]
本稿では,TAPIR(Destruction Refinement)のためのタスク対応カリキュラム計画について紹介する。
TAPIRは、バランスの取れたタスク分布と動的難易度調整を備えた多層蒸留フレームワークである。
AlpacaEval 2.0 や MT-Bench など,広く知られている2つのベンチマークを用いて,TAPIR を厳格に評価した。
論文 参考訳(メタデータ) (2024-05-22T08:38:26Z) - Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳(メタデータ) (2024-01-07T18:12:20Z) - Order Matters in the Presence of Dataset Imbalance for Multilingual
Learning [53.74649778447903]
本稿では,高リソースタスクの事前学習をシンプルかつ効果的に行う方法と,高リソースタスクと低リソースタスクの混合による微調整について述べる。
ニューラルネットワーク翻訳(NMT)と多言語言語モデリングの改善について述べる。
論文 参考訳(メタデータ) (2023-12-11T05:46:57Z) - Mastering Robot Manipulation with Multimodal Prompts through Pretraining and Multi-task Fine-tuning [49.92517970237088]
我々はマルチモーダルなプロンプトを理解するためにロボットを訓練する問題に取り組む。
このようなタスクは、視覚と言語信号の相互接続と相補性を理解するロボットの能力にとって大きな課題となる。
マルチモーダルプロンプトを用いてロボット操作を行うためのポリシーを学習する効果的なフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-14T22:24:58Z) - Preference-grounded Token-level Guidance for Language Model Fine-tuning [105.88789610320426]
好みのある言語モデルを調整することは、自然言語生成において重要な問題である。
LMトレーニングでは、教師付きデータの量に基づいて、学習指導を利用する2つの「ミニマリスト*学習目標」を示す。
実験において,本手法は2つの異なるLMタスクに対して競合的に動作する。
論文 参考訳(メタデータ) (2023-06-01T07:00:07Z) - Improving Multi-task Learning via Seeking Task-based Flat Regions [43.85516379095757]
MTL(Multi-Task Learning)は、ディープニューラルネットワークをトレーニングするための強力な学習パラダイムである。
MTLには、究極の勾配降下方向を導出するためにタスク勾配を操作することに焦点を当てた、新たな作業ラインがある。
単タスク学習におけるモデル一般化能力を向上するシャープネス認識最小化という,最近導入されたトレーニング手法を活用することを提案する。
論文 参考訳(メタデータ) (2022-11-24T17:19:30Z) - A Survey of Multi-task Learning in Natural Language Processing:
Regarding Task Relatedness and Training Methods [17.094426577723507]
自然言語処理(NLP)において,マルチタスク学習(MTL)がますます普及している。
共通点と相違点を活用することで、関連するタスクのパフォーマンスを向上させる。
トレーニングタスクの関連性に基づいてマルチタスク学習をどのように実装できるかは、まだよく理解されていない。
論文 参考訳(メタデータ) (2022-04-07T15:22:19Z) - Self-Paced Learning for Neural Machine Translation [55.41314278859938]
ニューラルネットワーク翻訳(NMT)訓練のためのセルフペースト学習を提案する。
提案モデルでは,強いベースラインよりも優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2020-10-09T11:33:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。