論文の概要: Neural Machine Translation with Monte-Carlo Tree Search
- arxiv url: http://arxiv.org/abs/2004.12527v1
- Date: Mon, 27 Apr 2020 01:03:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-09 04:09:33.088378
- Title: Neural Machine Translation with Monte-Carlo Tree Search
- Title(参考訳): モンテカルロ木探索を用いたニューラルマシン翻訳
- Authors: Jerrod Parker and Jerry Zikun Chen
- Abstract要約: 機械翻訳における最近のアルゴリズムは、翻訳の各ステップでどの単語を出力するかを決定する際に、ポリシーネットワークを支援する値ネットワークを含んでいる。
このプロジェクトの主な目的は、モンテカルロ木探索(MCTS)を活用して、ポリシーと価値ネットワークアーキテクチャの組み合わせによる優れた出力語を検索することである。
IWLST14ドイツ語から英語への翻訳データセットを用いた実験では,近年の機械翻訳論文におけるアクター・クリティカルな手法よりも優れていた。
- 参考スコア(独自算出の注目度): 3.8073142980733
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent algorithms in machine translation have included a value network to
assist the policy network when deciding which word to output at each step of
the translation. The addition of a value network helps the algorithm perform
better on evaluation metrics like the BLEU score. After training the policy and
value networks in a supervised setting, the policy and value networks can be
jointly improved through common actor-critic methods. The main idea of our
project is to instead leverage Monte-Carlo Tree Search (MCTS) to search for
good output words with guidance from a combined policy and value network
architecture in a similar fashion as AlphaZero. This network serves both as a
local and a global look-ahead reference that uses the result of the search to
improve itself. Experiments using the IWLST14 German to English translation
dataset show that our method outperforms the actor-critic methods used in
recent machine translation papers.
- Abstract(参考訳): 最近の機械翻訳のアルゴリズムには、翻訳の各ステップで出力する単語を決定する際にポリシーネットワークを支援する値ネットワークが含まれている。
値ネットワークの追加は、アルゴリズムがbleuスコアのような評価指標をより良く実行するのに役立つ。
教師付き環境でポリシーと価値ネットワークをトレーニングした後、ポリシーと価値ネットワークは共通のアクター批判的手法によって共同で改善することができる。
我々のプロジェクトの主な考え方は、代わりにモンテカルロ木探索(MCTS)を利用して、AlphaZeroと同じような方法で、ポリシーと価値ネットワークアーキテクチャの組み合わせから優れた出力語を検索することである。
このネットワークは、ローカルおよびグローバルなルックアヘッド参照として機能し、検索の結果を使って自身を改善する。
IWLST14ドイツ語から英語への翻訳データセットを用いた実験では,近年の機械翻訳論文におけるアクター・クリティカルな手法よりも優れていた。
関連論文リスト
- Don't throw away your value model! Making PPO even better via
Value-Guided Monte-Carlo Tree Search decoding [111.01641365246547]
PPO(Proximal Policy Optimization)に基づいて自然言語テキストを生成する場合、推論時探索アルゴリズムは不要に思えるかもしれない
本稿では,モンテカルロ木探索 (MCTS) を統合することで,PPOから余分な距離を得ることが可能であることを実証する。
提案するPPO-MCTSは,PPOから値ネットワークを統合することで,推論時生成時のポリシネットワークと密接に連携する。
論文 参考訳(メタデータ) (2023-09-26T15:57:57Z) - On Search Strategies for Document-Level Neural Machine Translation [51.359400776242786]
文書レベルのニューラルネットワーク変換(NMT)モデルは、ドキュメント全体にわたってより一貫性のある出力を生成する。
そこで本研究では,デコードにおける文脈認識翻訳モデルをどのように活用するか,という質問に答えることを目的としている。
論文 参考訳(メタデータ) (2023-06-08T11:30:43Z) - DAMO-NLP at SemEval-2023 Task 2: A Unified Retrieval-augmented System
for Multilingual Named Entity Recognition [94.90258603217008]
MultiCoNER RNum2共有タスクは、細粒度でノイズの多いシナリオにおいて、多言語の名前付きエンティティ認識(NER)に取り組むことを目的としている。
MultiCoNER RNum1の以前のトップシステムは、ナレッジベースまたはガゼッタを組み込んでいる。
細粒度多言語NERのための統一検索拡張システム(U-RaNER)を提案する。
論文 参考訳(メタデータ) (2023-05-05T16:59:26Z) - Learning Optimal Antenna Tilt Control Policies: A Contextual Linear
Bandit Approach [65.27783264330711]
セルラーネットワークにおけるアンテナ傾きの制御は、ネットワークのカバレッジとキャパシティの間の効率的なトレードオフに到達するために不可欠である。
既存のデータから最適な傾き制御ポリシーを学習するアルゴリズムを考案する。
従来のルールベースの学習アルゴリズムよりもはるかに少ないデータサンプルを用いて最適な傾き更新ポリシーを作成できることを示す。
論文 参考訳(メタデータ) (2022-01-06T18:24:30Z) - Language Semantics Interpretation with an Interaction-based Recurrent
Neural Networks [0.0]
本稿では,新しいインフルエンススコア (I-score) と,BDA (Backward Dropping Algorithm) と呼ばれるグリージー検索アルゴリズムと,"Dagger Technique" と呼ばれる特徴工学的手法を提案する。
提案手法は,他の人気ピアと比較して81%の誤差削減率で予測性能を向上させるために適用された。
論文 参考訳(メタデータ) (2021-11-02T00:39:21Z) - Machine Translation Decoding beyond Beam Search [43.27883368285612]
ビームサーチは自動回帰機械翻訳モデルの復号化手法である。
我々の目標は、ビームサーチがより強力な計量駆動サーチ技術に置き換えられるかどうかを確かめることである。
モンテカルロ木探索(mcts)に基づく手法を導入し,その競合性を示す。
論文 参考訳(メタデータ) (2021-04-12T10:28:17Z) - Local Critic Training for Model-Parallel Learning of Deep Neural
Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。
提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。
また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文 参考訳(メタデータ) (2021-02-03T09:30:45Z) - Global Context Networks [52.597260561253655]
非ローカルネットワーク(NLNet)は、画像内の長距離依存関係をキャプチャするための先駆的なアプローチです。
非ローカルネットワークでモデル化されたグローバルコンテキストは,異なるクエリ位置でほぼ同じであることを示す。
この知見を生かして,クエリに依存しない定式化に基づく簡易ネットワークを構築する。
論文 参考訳(メタデータ) (2020-12-24T18:02:57Z) - Constraint Translation Candidates: A Bridge between Neural Query
Translation and Cross-lingual Information Retrieval [45.88734029123836]
本稿では,QTのオープンターゲット語彙検索空間を,検索インデックスデータベースから抽出した重要な単語の集合に限定することで,問題を緩和する新しい手法を提案する。
提案手法を実単語CLIRシステムで活用し,検討した。
論文 参考訳(メタデータ) (2020-10-26T15:27:51Z) - Morfessor EM+Prune: Improved Subword Segmentation with Expectation
Maximization and Pruning [14.116412358534442]
本稿では,予測最大化アルゴリズムと辞書プルーニングに基づく,ユニグラムサブワードモデルのトレーニングアルゴリズムについて検討・比較する。
提案手法は,Morfessor Baselineモデルによって定義される最適化問題に対して,よりよい解を求めることができることを示す。
改良された最適化により、言語的なゴールド標準と比較して、モルフォロジーのセグメンテーション精度が向上する。
論文 参考訳(メタデータ) (2020-03-06T10:58:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。