Fugu-MT 論文翻訳(概要): Learning to Multi-Task Learn for Better Neural Machine Translation

論文の概要: Learning to Multi-Task Learn for Better Neural Machine Translation

arxiv url: http://arxiv.org/abs/2001.03294v1
Date: Fri, 10 Jan 2020 03:12:28 GMT
ステータス: 処理完了
システム内更新日: 2023-01-12 22:36:17.586254
Title: Learning to Multi-Task Learn for Better Neural Machine Translation
Title（参考訳）: ニューラルマシン翻訳を改良するマルチタスク学習への学習
Authors: Poorya Zaremoodi, Gholamreza Haffari
Abstract要約: マルチタスク学習は、言語関連バイアスをニューラルネットワーク翻訳モデルに注入するエレガントなアプローチである。本稿では,学習スケジュールの学習,マルチタスク学習のための新しいフレームワークを提案する。実験の結果、自動学習したトレーニングスケジューラがベストと競い合っており、最大1.1BLEUスコアが向上している。
参考スコア（独自算出の注目度）: 53.06405021125476
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Scarcity of parallel sentence pairs is a major challenge for training high quality neural machine translation (NMT) models in bilingually low-resource scenarios, as NMT is data-hungry. Multi-task learning is an elegant approach to inject linguistic-related inductive biases into NMT, using auxiliary syntactic and semantic tasks, to improve generalisation. The challenge, however, is to devise effective training schedules, prescribing when to make use of the auxiliary tasks during the training process to fill the knowledge gaps of the main translation task, a setting referred to as biased-MTL. Current approaches for the training schedule are based on hand-engineering heuristics, whose effectiveness vary in different MTL settings. We propose a novel framework for learning the training schedule, ie learning to multi-task learn, for the MTL setting of interest. We formulate the training schedule as a Markov decision process which paves the way to employ policy learning methods to learn the scheduling policy. We effectively and efficiently learn the training schedule policy within the imitation learning framework using an oracle policy algorithm that dynamically sets the importance weights of auxiliary tasks based on their contributions to the generalisability of the main NMT task. Experiments on low-resource NMT settings show the resulting automatically learned training schedulers are competitive with the best heuristics, and lead to up to +1.1 BLEU score improvements.
Abstract（参考訳）: 並列文ペアの不足は、nmtがデータハングリーであるため、両言語による低リソースシナリオで高品質なニューラルマシン翻訳(nmt)モデルをトレーニングするための大きな課題である。マルチタスク学習は、言語関連帰納バイアスをNMTに注入するエレガントな手法であり、補助構文および意味的タスクを用いて一般化を改善する。しかし、課題は効果的なトレーニングスケジュールを策定することであり、トレーニングプロセス中に補助的なタスクをいつ利用すべきかを規定して、主翻訳タスクの知識ギャップを埋めることである。トレーニングスケジュールの現在のアプローチは、様々なMTL設定で有効性が異なるハンドエンジニアリングヒューリスティックに基づいている。そこで本研究では,MTL設定のためのトレーニングスケジュール学習,マルチタスク学習のための新しいフレームワークを提案する。学習スケジュールをマルコフ決定プロセスとして定式化し,スケジューリング方針を学習するための政策学習手法の活用方法を提案する。我々は,メインのnmtタスクの汎用性への貢献度に基づいて補助タスクの重要性度を動的に設定するoracle policyアルゴリズムを用いて,模倣学習フレームワーク内のトレーニングスケジュールポリシーを効果的かつ効率的に学習する。低リソースのnmt設定による実験では、自動学習されたトレーニングスケジューラは最高のヒューリスティックと競争力があり、最大+1.1 bleuスコアの改善につながる。

関連論文リスト

MT2ST: Adaptive Multi-Task to Single-Task Learning [7.307436175842646]
Multi-Task to Single-Task (MT2ST) は単語埋め込み訓練の効率と精度を大幅に向上させる新しい手法である。実験により,MT2STはシングルタスク学習と比較してトレーニング時間を67%短縮できることが示された。
論文参考訳（メタデータ） (2024-06-26T03:12:07Z)
From Instance Training to Instruction Learning: Task Adapters Generation from Instructions [29.452006810725184]
本稿では,事例学習の欠点に対処するために,人間の学習をシミュレートすることに焦点を当てる。タスク固有のモデルを自動的に構築するTAGI(Task Adapters from Instructions)を導入する。超自然的インストラクションとP3データセットを用いたTAGIの評価を行った。
論文参考訳（メタデータ） (2024-06-18T08:14:28Z)
Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文参考訳（メタデータ） (2024-01-07T18:12:20Z)
Order Matters in the Presence of Dataset Imbalance for Multilingual Learning [53.74649778447903]
本稿では,高リソースタスクの事前学習をシンプルかつ効果的に行う方法と,高リソースタスクと低リソースタスクの混合による微調整について述べる。ニューラルネットワーク翻訳(NMT)と多言語言語モデリングの改善について述べる。
論文参考訳（メタデータ） (2023-12-11T05:46:57Z)
Mastering Robot Manipulation with Multimodal Prompts through Pretraining and Multi-task Fine-tuning [49.92517970237088]
我々はマルチモーダルなプロンプトを理解するためにロボットを訓練する問題に取り組む。このようなタスクは、視覚と言語信号の相互接続と相補性を理解するロボットの能力にとって大きな課題となる。マルチモーダルプロンプトを用いてロボット操作を行うためのポリシーを学習する効果的なフレームワークを提案する。
論文参考訳（メタデータ） (2023-10-14T22:24:58Z)
Preference-grounded Token-level Guidance for Language Model Fine-tuning [105.88789610320426]
好みのある言語モデルを調整することは、自然言語生成において重要な問題である。 LMトレーニングでは、教師付きデータの量に基づいて、学習指導を利用する2つの「ミニマリスト*学習目標」を示す。実験において,本手法は2つの異なるLMタスクに対して競合的に動作する。
論文参考訳（メタデータ） (2023-06-01T07:00:07Z)
Improving Multi-task Learning via Seeking Task-based Flat Regions [38.28600737969538]
MTL(Multi-Task Learning)は、ディープニューラルネットワークをトレーニングするための強力な学習パラダイムである。 MTLには、究極の勾配降下方向を導出するためにタスク勾配を操作することに焦点を当てた、新たな作業ラインがある。単タスク学習におけるモデル一般化能力を向上するシャープネス認識最小化という,最近導入されたトレーニング手法を活用することを提案する。
論文参考訳（メタデータ） (2022-11-24T17:19:30Z)
A Survey of Multi-task Learning in Natural Language Processing: Regarding Task Relatedness and Training Methods [17.094426577723507]
自然言語処理(NLP)において,マルチタスク学習(MTL)がますます普及している。共通点と相違点を活用することで、関連するタスクのパフォーマンスを向上させる。トレーニングタスクの関連性に基づいてマルチタスク学習をどのように実装できるかは、まだよく理解されていない。
論文参考訳（メタデータ） (2022-04-07T15:22:19Z)
Learning Domain Specific Language Models for Automatic Speech Recognition through Machine Translation [0.0]
我々は、タスク固有のテキストデータの翻訳を最初に取得するために、中間ステップとしてNeural Machine Translationを使用します。我々はNMTビームサーチグラフから単語混乱ネットワークを導出する手法を開発した。 NMT混在ネットワークは、n-gramと繰り返しニューラルネットワークLMの両方の難易度を低減するのに有効であることを示す。
論文参考訳（メタデータ） (2021-09-21T10:29:20Z)
Self-Paced Learning for Neural Machine Translation [55.41314278859938]
ニューラルネットワーク翻訳(NMT)訓練のためのセルフペースト学習を提案する。提案モデルでは,強いベースラインよりも優れた性能が得られることを示す。
論文参考訳（メタデータ） (2020-10-09T11:33:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。