論文の概要: Learning and Analyzing Generation Order for Undirected Sequence Models

• arxiv url: http://arxiv.org/abs/2112.09097v1
• Date: Thu, 16 Dec 2021 18:29:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 13:47:57.015494
• Title: Learning and Analyzing Generation Order for Undirected Sequence Models
• Title（参考訳）: 非指向列モデルの生成順序の学習と解析
• Authors: Yichen Jiang, Mohit Bansal
• Abstract要約: 我々は、強化学習を通して、事前訓練された非直接翻訳モデルの生成順序を学習する政策を訓練する。 学習順序による翻訳は,マンシモフらの学習順序によって左から右へ復号された出力や復号された出力よりも高いBLEUスコアが得られることを示す。 我々の発見は、非方向性生成モデルのメカニズムに関するさらなる洞察を与え、この方向のさらなる研究を奨励する可能性がある。
• 参考スコア（独自算出の注目度）: 86.10875837475783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Undirected neural sequence models have achieved performance competitive with the state-of-the-art directed sequence models that generate monotonically from left to right in machine translation tasks. In this work, we train a policy that learns the generation order for a pre-trained, undirected translation model via reinforcement learning. We show that the translations decoded by our learned orders achieve higher BLEU scores than the outputs decoded from left to right or decoded by the learned order from Mansimov et al. (2019) on the WMT'14 German-English translation task. On examples with a maximum source and target length of 30 from De-En, WMT'16 English-Romanian, and WMT'21 English-Chinese translation tasks, our learned order outperforms all heuristic generation orders on four out of six tasks. We next carefully analyze the learned order patterns via qualitative and quantitative analysis. We show that our policy generally follows an outer-to-inner order, predicting the left-most and right-most positions first, and then moving toward the middle while skipping less important words at the beginning. Furthermore, the policy usually predicts positions for a single syntactic constituent structure in consecutive steps. We believe our findings could provide more insights on the mechanism of undirected generation models and encourage further research in this direction. Our code is publicly available at https://github.com/jiangycTarheel/undirected-generation
• Abstract（参考訳）: 非指向型ニューラルシーケンスモデルは、機械翻訳タスクにおいて左から右へ単調に生成する最先端の指向配列モデルと性能を競い合っている。 本研究では、強化学習を通じて、事前学習された非指向翻訳モデルの生成順序を学習する政策を訓練する。 我々は,WMT'14ドイツ語翻訳タスクにおけるマンシモフら (2019) の学習結果より,学習順序で復号された翻訳が,左から右へ復号された出力よりも高いBLEUスコアを達成することを示す。 例えば、De-En, WMT'16 English-Romanian, WMT'21 English- Chinese translation task から最大30のソースとターゲット長を持つ場合、学習順序は6つのタスクのうち4つのヒューリスティックな生成順序よりも優れている。 次に、定性的および定量的分析により、学習順序パターンを慎重に分析する。 我々の政策は概して外対外秩序に従っており、まず左端と右端の位置を予測し、それから中央に向かって移動し、最初にあまり重要でない単語をスキップする。 さらに、ポリシーは通常、連続したステップで単一の構文構成構造の位置を予測する。 当社の調査結果は、無向世代モデルのメカニズムに関するさらなる洞察を提供し、この方向のさらなる研究を促進することができると考えています。 私たちのコードはhttps://github.com/jiangycTarheel/undirected-generationで公開されています。

関連論文リスト

• Learning to Predict Concept Ordering for Common Sense Generation [32.2052248473022]
  入力概念の順序付けと生成文の品質の関係について検討する。 BART-largeモデルは,本研究で検討した他のLMよりも一貫して優れていた。 GPT3ベースの大きな言語モデル(LLM)は、必ずしもこのタスクにおいてより小さなLMよりも優れているとは限らない。
  論文  参考訳（メタデータ） (2023-09-12T16:27:18Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Few-shot Subgoal Planning with Language Models [58.11102061150875]
  事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。 サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
  論文  参考訳（メタデータ） (2022-05-28T01:03:30Z)
• Summarize and Generate to Back-translate: Unsupervised Translation of Programming Languages [86.08359401867577]
  バックトランスレーションは、並列データがほとんど、あるいは全く利用できない場合のニューラルマシン翻訳の有効性で広く知られている。 コード要約と生成による逆翻訳を提案する。 提案手法は最先端の手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-05-23T08:20:41Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• COCO-LM: Correcting and Contrasting Text Sequences for Language Model Pretraining [59.169836983883656]
  COCO-LMは、チャレンジングなエラーとテキストシーケンスの変換によって言語モデルを事前学習する新しい自己監視学習フレームワークです。 COCO-LMは、オリジナルのテキストシーケンスでマスク&予測トークンに補助言語モデルを採用しています。 分析の結果,coco-lmのアドバンテージは,困難なトレーニング信号,よりコンテキスト化されたトークン表現,正規化されたシーケンス表現であることがわかった。
  論文  参考訳（メタデータ） (2021-02-16T22:24:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。