論文の概要: Hierarchical Phrase-based Sequence-to-Sequence Learning

• arxiv url: http://arxiv.org/abs/2211.07906v1
• Date: Tue, 15 Nov 2022 05:22:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 14:26:42.366675
• Title: Hierarchical Phrase-based Sequence-to-Sequence Learning
• Title（参考訳）: 階層的フレーズベースシーケンス・ツー・シーケンス学習
• Authors: Bailin Wang, Ivan Titov, Jacob Andreas and Yoon Kim
• Abstract要約: 本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。 本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
• 参考スコア（独自算出の注目度）: 94.10257313923478
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We describe a neural transducer that maintains the flexibility of standard sequence-to-sequence (seq2seq) models while incorporating hierarchical phrases as a source of inductive bias during training and as explicit constraints during inference. Our approach trains two models: a discriminative parser based on a bracketing transduction grammar whose derivation tree hierarchically aligns source and target phrases, and a neural seq2seq model that learns to translate the aligned phrases one-by-one. We use the same seq2seq model to translate at all phrase scales, which results in two inference modes: one mode in which the parser is discarded and only the seq2seq component is used at the sequence-level, and another in which the parser is combined with the seq2seq model. Decoding in the latter mode is done with the cube-pruned CKY algorithm, which is more involved but can make use of new translation rules during inference. We formalize our model as a source-conditioned synchronous grammar and develop an efficient variational inference algorithm for training. When applied on top of both randomly initialized and pretrained seq2seq models, we find that both inference modes performs well compared to baselines on small scale machine translation benchmarks.
• Abstract（参考訳）: 学習中の帰納的バイアスの源として階層的句を取り入れたり,推論時の明示的な制約として用いたりしながら,標準的なシーケンシャル・ツー・シークエンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。 提案手法は,原文と対象句を階層的に整列するブラケット翻訳文法に基づく識別的パーサと,整列した句を1対1で翻訳するニューラルネットワークセク2seqモデルである。 同じseq2seqモデルを使用してすべてのフレーズスケールを翻訳し、パーサを破棄し、シーケンスレベルでseq2seqコンポーネントのみを使用する1つのモードと、パーサをseq2seqモデルと組み合わせた別のモードの2つの推論モードを生成する。 後者モードでの復号は、より複雑だが推論中に新しい翻訳規則を利用することのできる立方体のCKYアルゴリズムを用いて行われる。 我々は、ソース条件の同期文法としてモデルを形式化し、学習のための効率的な変分推論アルゴリズムを開発する。 ランダムに初期化および事前訓練されたSeq2seqモデルの上に適用すると、両方の推論モードは、小規模機械翻訳ベンチマークのベースラインと比較してよく機能することがわかった。

関連論文リスト

• Improving Grammar-based Sequence-to-Sequence Modeling with Decomposition and Constraints [30.219318352970948]
  より高速な推論のための2つの低ランクなニューラルネットワークQCFGについて検討する。 木階層とソースカバレッジに対する2つのソフト制約を導入します。 我々のモデルは、ほとんどの設定でバニラニューラルQCFGよりも優れています。
  論文  参考訳（メタデータ） (2023-06-05T08:05:05Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Compositional Generalization without Trees using Multiset Tagging and Latent Permutations [121.37328648951993]
  まず、各入力トークンに複数の出力トークンをタグ付けします。 次に、新しいパラメータ化法と置換予測法を用いて、トークンを出力シーケンスに配置する。 我々のモデルは、事前訓練されたセq2seqモデルと、現実的なセマンティック解析タスクに関する先行研究より優れている。
  論文  参考訳（メタデータ） (2023-05-26T14:09:35Z)
• Translate First Reorder Later: Leveraging Monotonicity in Semantic Parsing [4.396860522241306]
  TPolは2段階のアプローチであり、入力文を単調に翻訳し、正しい出力を得るために再注文する。 2つの一般的なセマンティックパーシングデータセットでアプローチをテストする。
  論文  参考訳（メタデータ） (2022-10-10T17:50:42Z)
• Conditional set generation using Seq2seq models [52.516563721766445]
  条件セット生成は、トークンの入力シーケンスからセットへのマッピングを学習する。 シーケンス・ツー・シーケンス(Seq2seq)モデルは、モデルセット生成において一般的な選択である。 本稿では,ラベル順序空間上の情報的順序を効果的に抽出する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-25T04:17:50Z)
• Coloring the Blank Slate: Pre-training Imparts a Hierarchical Inductive Bias to Sequence-to-sequence Models [23.21767225871304]
  シークエンス・ツー・シークエンス(seq2seq)モデルは、構文変換を行う際に階層性に敏感な方法で一般化できないことが多い。 事前学習されたSeq2seqモデルは、構文変換を行う際に階層的に一般化するが、構文変換でスクラッチから訓練されたモデルはそうではない。
  論文  参考訳（メタデータ） (2022-03-17T15:46:53Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• Any-to-One Sequence-to-Sequence Voice Conversion using Self-Supervised Discrete Speech Representations [49.55361944105796]
  シーケンス・ツー・シーケンス・フレームワークにおいて,任意のA2O音声変換(VC)に対して新しいアプローチを提案する。 A2O VCは、トレーニング中に目に見えないものを含むあらゆる話者を、固定されたターゲットスピーカーに変換することを目指している。
  論文  参考訳（メタデータ） (2020-10-23T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。