論文の概要: Reinforcement Learning for on-line Sequence Transformation

• arxiv url: http://arxiv.org/abs/2105.14097v1
• Date: Fri, 28 May 2021 20:31:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 17:45:23.603132
• Title: Reinforcement Learning for on-line Sequence Transformation
• Title（参考訳）: オンラインシーケンス変換のための強化学習
• Authors: Grzegorz Rype\'s\'c, {\L}ukasz Lepak, Pawe{\l} Wawrzy\'nski
• Abstract要約: トークンを読むか、別のトークンを書くべきかを判断するために、強化によって学習するアーキテクチャを導入します。 実験では、ニューラルネットワーク翻訳の最先端手法と比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A number of problems in the processing of sound and natural language, as well as in other areas, can be reduced to simultaneously reading an input sequence and writing an output sequence of generally different length. There are well developed methods that produce the output sequence based on the entirely known input. However, efficient methods that enable such transformations on-line do not exist. In this paper we introduce an architecture that learns with reinforcement to make decisions about whether to read a token or write another token. This architecture is able to transform potentially infinite sequences on-line. In an experimental study we compare it with state-of-the-art methods for neural machine translation. While it produces slightly worse translations than Transformer, it outperforms the autoencoder with attention, even though our architecture translates texts on-line thereby solving a more difficult problem than both reference methods.
• Abstract（参考訳）: 音声と自然言語の処理における多くの問題と他の領域の問題は、入力シーケンスを同時に読み取ることと、一般的に異なる長さの出力シーケンスを書くことに還元することができる。 完全に既知の入力に基づいて出力シーケンスを生成する方法がよく開発されている。 しかし、オンライン変換を可能にする効率的な方法は存在しない。 本稿では,トークンを読み込むか,あるいは別のトークンを書くかを判断するために,強化で学習するアーキテクチャを紹介する。 このアーキテクチャは、潜在的無限列をオンラインに変換することができる。 実験では、ニューラルマシン翻訳の最先端手法と比較する。 Transformerより若干悪い翻訳を生成するが、私たちのアーキテクチャはオンラインでテキストを翻訳するので、両方の参照メソッドよりも難しい問題を解決する。

関連論文リスト

• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Fast Training of NMT Model with Data Sorting [0.0]
  Transformerモデルはニューラルマシン翻訳などの自然言語処理タスクに革命をもたらした。 改善の潜在的領域の1つは、Transformerが計算した空のトークンの研究に対処し、後に破棄することである。 本稿では,翻訳前の文長に基づいて文対をソートするアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-16T05:48:50Z)
• Linearizing Transformer with Key-Value Memory Bank [54.83663647680612]
  我々は、ソースシーケンスを低次元表現に投影するアプローチであるMemSizerを提案する。 MemSizerは同じ線形時間複雑性を達成するだけでなく、効率的なリカレントスタイルの自己回帰生成も楽しめる。 我々はMemSizerがバニラ変圧器の効率と精度のトレードオフを改善することを実証した。
  論文  参考訳（メタデータ） (2022-03-23T18:10:18Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• Duplex Sequence-to-Sequence Learning for Reversible Machine Translation [53.924941333388155]
  機械翻訳のようなシーケンス・ツー・シーケンス(seq2seq)問題は双方向である。 我々は、em二重化seq2seqニューラルネットワークを提案し、機械翻訳に適用する。 広く使用されている機械翻訳ベンチマークの実験は、REDERがリバーシブル機械翻訳の最初の成功を達成することを検証します。
  論文  参考訳（メタデータ） (2021-05-07T18:21:57Z)
• Character-level Transformer-based Neural Machine Translation [5.699756532377753]
  本稿では,トランスフォーマーをベースとした新しい手法について論じる。スピードと品質を,サブワードレベルでのトランスフォーマーとキャラクタレベルで比較する。 WMT'15: DE-EN, CS-EN, FI-EN, RU-ENの4つの言語対について評価を行った。 提案された新しいアーキテクチャは、単一のGPUでトレーニングすることが可能で、キャラクタレベルのTransformerよりも34%高速である。
  論文  参考訳（メタデータ） (2020-05-22T15:40:43Z)
• Hierarchical Attention Transformer Architecture For Syntactic Spell Correction [1.0312968200748118]
  従来の変圧器のマルチエンコーダと単一復号器のバリエーションを提案する。 CER, 単語(WER), 文(SER)の誤り率について, 0.11%, 0.32%, 0.69%の大幅な改善を報告した。 私たちのアーキテクチャも7.8倍高速で、次の最も正確なモデルに比べて1/3程度の大きさしかありません。
  論文  参考訳（メタデータ） (2020-05-11T06:19:01Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• Non-Autoregressive Machine Translation with Disentangled Context Transformer [70.95181466892795]
  最先端のニューラルネットワーク翻訳モデルは、左から右への翻訳を生成し、各ステップは以前に生成されたトークンに条件付けされる。 本研究では,異なるコンテキストのトークンを同時に生成するDisentangled Context (DisCo) 変換器を提案する。 本モデルでは,非自己回帰型機械翻訳技術と比較して性能が向上する一方,デコーディング時間の平均は大幅に減少する。
  論文  参考訳（メタデータ） (2020-01-15T05:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。