論文の概要: Dual Learning: Theoretical Study and an Algorithmic Extension

• arxiv url: http://arxiv.org/abs/2005.08238v1
• Date: Sun, 17 May 2020 12:14:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 05:08:09.540666
• Title: Dual Learning: Theoretical Study and an Algorithmic Extension
• Title（参考訳）: 双対学習:理論的研究とアルゴリズム拡張
• Authors: Zhibing Zhao, Yingce Xia, Tao Qin, Lirong Xia, Tie-Yan Liu
• Abstract要約: 本稿では,新たな領域からのフィードバック信号を活用してマッピングの質を向上させる多段階二重学習を提案する。 マルチステップのデュアルラーニングは、穏やかな条件下での標準的なデュアルラーニングの性能を向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 168.0485041314289
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dual learning has been successfully applied in many machine learning applications including machine translation, image-to-image transformation, etc. The high-level idea of dual learning is very intuitive: if we map an $x$ from one domain to another and then map it back, we should recover the original $x$. Although its effectiveness has been empirically verified, theoretical understanding of dual learning is still very limited. In this paper, we aim at understanding why and when dual learning works. Based on our theoretical analysis, we further extend dual learning by introducing more related mappings and propose multi-step dual learning, in which we leverage feedback signals from additional domains to improve the qualities of the mappings. We prove that multi-step dual learn-ing can boost the performance of standard dual learning under mild conditions. Experiments on WMT 14 English$\leftrightarrow$German and MultiUNEnglish$\leftrightarrow$French translations verify our theoretical findings on dual learning, and the results on the translations among English, French, and Spanish of MultiUN demonstrate the effectiveness of multi-step dual learning.
• Abstract（参考訳）: デュアルラーニングは、機械翻訳、画像から画像への変換など、多くの機械学習アプリケーションで成功している。 もし1つのドメインから別のドメインにx$をマップし、それを別のドメインにマップしたら、元のx$を復元するべきです。 その効果は実証的に検証されているが、二重学習の理論的理解はいまだに限られている。 本稿では,二重学習が機能する理由と時期を理解することを目的とする。 この理論解析に基づき,より関連するマッピングを導入することにより,デュアルラーニングをさらに拡張し,新たな領域からのフィードバック信号を利用してマッピングの品質を向上させる多段階デュアルラーニングを提案する。 マルチステップの二重学習は、穏やかな条件下での標準的な二重学習の性能を高めることができることを示す。 wmt 14 english$\leftrightarrow$ german and multiun english$\leftrightarrow$ french translations (wmt 14 english$\leftrightarrow$ german and multiun english$\leftrightarrow$ french translations) では、二重学習に関する理論的な知見が検証され、マルチアンの英語、フランス語、スペイン語の翻訳結果が多段階二重学習の有効性を示している。

関連論文リスト

• FonMTL: Towards Multitask Learning for the Fon Language [1.9370453715137865]
  本稿では,Fon言語のための自然言語処理におけるモデル機能向上のための,マルチタスク学習のための最初の爆発的アプローチを提案する。 我々は2つの言語モデルヘッドをエンコーダとして利用して入力の共有表現を構築し,各タスクに対して線形層ブロックを用いて分類する。 Fon の NER および POS タスクの結果は,複数言語で事前訓練された言語モデルに対して,単一タスクで微調整された言語モデルと比較して,競争力(あるいはより優れた)性能を示す。
  論文  参考訳（メタデータ） (2023-08-28T03:26:21Z)
• MICO: A Multi-alternative Contrastive Learning Framework for Commonsense Knowledge Representation [52.238466443561705]
  MICOは、COmmonsenseナレッジグラフの多元的コントラスト学習フレームワークである。 エンティティノード間のコンテキスト相互作用によるコモンセンス知識表現を生成する。 これは、単純に表現間の距離スコアを比較することで、以下の2つのタスクの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2022-10-14T06:51:21Z)
• Large-scale Bilingual Language-Image Contrastive Learning [17.19890778916312]
  我々は11億枚の画像テキストペア(韓国語7800万、英語476万)を集め、KELIPという名前のバイリンガル・マルチモーダルモデルを訓練します。 我々は,MAE事前学習やマルチクロップ強化など,シンプルで効果的なトレーニング手法を導入する。 実験により、そのようなトレーニングスキームで訓練されたモデルは、両方の言語で競合する性能を示すことが示された。
  論文  参考訳（メタデータ） (2022-03-28T03:02:03Z)
• The Reality of Multi-Lingual Machine Translation [3.183845608678763]
  『多言語機械翻訳の現実』では、機械翻訳システムにおける2言語以上の使用の利点と危険性について論じている。 著者: ディープラーニングアプリケーションの主な例は機械翻訳です。
  論文  参考訳（メタデータ） (2022-02-25T16:44:06Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)
• Dual Reconstruction: a Unifying Objective for Semi-Supervised Neural Machine Translation [32.99075556718486]
  反復的バックトランスレーションとデュアルラーニングは、ニューラルネットワーク翻訳にモノリンガルトレーニングデータを効果的に取り入れ、異なる目的と勾配近似戦略を用いており、広範囲に比較されていない。 本稿では,反復的バックトランスレーションとデュアルラーニングの統一的な視点を提供する,新しい二重再構成手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T13:40:32Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)
• Knowledge Distillation for Multilingual Unsupervised Neural Machine Translation [61.88012735215636]
  unsupervised neural machine translation (UNMT) は、最近、いくつかの言語対に対して顕著な結果を得た。 UNMTは単一の言語ペア間でのみ翻訳することができ、同時に複数の言語ペアに対して翻訳結果を生成することはできない。 本稿では,1つのエンコーダと1つのデコーダを用いて13言語間を翻訳する簡単な手法を実証的に紹介する。
  論文  参考訳（メタデータ） (2020-04-21T17:26:16Z)
• Provable Representation Learning for Imitation Learning via Bi-level Optimization [60.059520774789654]
  現代の学習システムにおける一般的な戦略は、多くのタスクに有用な表現を学ぶことである。 我々は,複数の専門家の軌道が利用できるマルコフ決定過程(MDP)の模倣学習環境において,この戦略を研究する。 このフレームワークは,行動のクローン化と観察-アローンの模倣学習設定のためにインスタンス化する。
  論文  参考訳（メタデータ） (2020-02-24T21:03:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。