論文の概要: Exact Hard Monotonic Attention for Character-Level Transduction

• arxiv url: http://arxiv.org/abs/1905.06319v3
• Date: Tue, 20 Feb 2024 15:41:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 22:05:12.281524
• Title: Exact Hard Monotonic Attention for Character-Level Transduction
• Title（参考訳）: 文字レベル変換のための厳密な単調アテンション
• Authors: Shijie Wu and Ryan Cotterell
• Abstract要約: 非単調なソフトアテンションを用いたニューラルシークエンス・ツー・シーケンスモデルは、しばしば一般的な単調モデルよりも優れていることを示す。 我々は、厳密な単調性を強制し、トランスデューサの学習中に協調して潜時アライメントを学習するハードアテンションシーケンス・ツー・シーケンス・モデルを開発した。
• 参考スコア（独自算出の注目度）: 76.66797368985453
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many common character-level, string-to string transduction tasks, e.g., grapheme-tophoneme conversion and morphological inflection, consist almost exclusively of monotonic transductions. However, neural sequence-to sequence models that use non-monotonic soft attention often outperform popular monotonic models. In this work, we ask the following question: Is monotonicity really a helpful inductive bias for these tasks? We develop a hard attention sequence-to-sequence model that enforces strict monotonicity and learns a latent alignment jointly while learning to transduce. With the help of dynamic programming, we are able to compute the exact marginalization over all monotonic alignments. Our models achieve state-of-the-art performance on morphological inflection. Furthermore, we find strong performance on two other character-level transduction tasks. Code is available at https://github.com/shijie-wu/neural-transducer.
• Abstract（参考訳）: 多くの共通文字レベル、文字列から文字列へのトランスダクションタスク、例えば、グラファイム・トフォネーム変換や形態的インフレクションは、ほとんど単調なトランスダクションで構成されている。 しかし、非単調なソフトアテンションを使用する神経シーケンスからシーケンスモデルでは、一般的な単調モデルよりも優れていることが多い。 モノトニック性は、これらのタスクにとって本当に有用な帰納的バイアスなのだろうか? 我々は、厳密な単調性を強制し、トランスデューサの学習中に協調して潜時アライメントを学ぶハードアテンションシーケンス・ツー・シーケンスモデルを開発した。 動的プログラミングの助けを借りて、すべての単調アライメントに対して正確な余分化を計算することができる。 本モデルでは, 形態的変形の最先端性能を実現する。 さらに,他の2つのキャラクタレベルのトランスダクションタスクに対して高い性能を示す。 コードはhttps://github.com/shijie-wu/neural-transducerで入手できる。

関連論文リスト

• Compositional Generalization without Trees using Multiset Tagging and Latent Permutations [121.37328648951993]
  まず、各入力トークンに複数の出力トークンをタグ付けします。 次に、新しいパラメータ化法と置換予測法を用いて、トークンを出力シーケンスに配置する。 我々のモデルは、事前訓練されたセq2seqモデルと、現実的なセマンティック解析タスクに関する先行研究より優れている。
  論文  参考訳（メタデータ） (2023-05-26T14:09:35Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Constrained Monotonic Neural Networks [0.685316573653194]
  金融や医療といった多くの重要な分野におけるニューラルネットワークの採用は、その予測を説明する必要性によって妨げられている。 モノトニック性制約は、現実世界のシナリオで最も要求された特性の1つである。 我々は、$mathbbRn$ のコンパクト部分集合上の任意の連続単調関数を近似できることを示した。
  論文  参考訳（メタデータ） (2022-05-24T04:26:10Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• On Biasing Transformer Attention Towards Monotonicity [20.205388243570003]
  標準注意機構と互換性のある単調性損失関数を導入し,いくつかのシーケンスからシーケンスへのタスクでテストする。 実験により、ほとんど単調な振る舞いが達成できることが示される。 一般的な単調性はトランスマルチヘッドの注意に役立ちませんが、単調な行動に偏っているのは、ヘッドのサブセットのみです。
  論文  参考訳（メタデータ） (2021-04-08T17:42:05Z)
• A study of latent monotonic attention variants [65.73442960456013]
  エンドツーエンドモデルは音声認識の最先端性能に達するが、グローバルソフトな注意は単調ではない。 本稿では,新しい潜在変数を導入することで,単調性を導入する数学的にクリーンな解を提案する。 モノトニックモデルがグローバルソフトアテンションモデルと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-03-30T22:35:56Z)
• Counterexample-Guided Learning of Monotonic Neural Networks [32.73558242733049]
  単調性制約に注目するが、これは一般的であり、特定の入力特徴の値が増加するにつれて関数の出力が増加することが要求される。 本研究では,予測時の単調性制約を確実に強制する逆例誘導手法を開発した。 深層学習の帰納バイアスとして単調性を用いる手法も提案する。
  論文  参考訳（メタデータ） (2020-06-16T01:04:26Z)
• Hard Non-Monotonic Attention for Character-Level Transduction [65.17388794270694]
  2つの弦間の多くの非単調なアライメントを余剰化するための厳密な指数時間アルゴリズムを導入する。 ソフト・モノトニック・アテンションとハード・ノン・モノトニック・アテンションを実験的に比較したところ、正確なアルゴリズムは近似よりも性能を著しく改善し、ソフト・アテンションよりも優れていた。
  論文  参考訳（メタデータ） (2018-08-29T20:00:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。