論文の概要: CopyNext: Explicit Span Copying and Alignment in Sequence to Sequence Models

• arxiv url: http://arxiv.org/abs/2010.15266v1
• Date: Wed, 28 Oct 2020 22:45:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 04:35:37.931191
• Title: CopyNext: Explicit Span Copying and Alignment in Sequence to Sequence Models
• Title（参考訳）: CopyNext: シーケンスモデルにおける明示的なスパンコピーとアライメント
• Authors: Abhinav Singh, Patrick Xia, Guanghui Qin, Mahsa Yarmohammadi, Benjamin Van Durme
• Abstract要約: 明示的なトークンレベルのコピー操作を持つモデルを示し、それを全スパンのコピーに拡張する。 我々のモデルは入力と出力のスパン間のハードアライメントを提供し、情報抽出のような非伝統的なセq2seqの応用を可能にする。
• 参考スコア（独自算出の注目度）: 31.832217465573503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Copy mechanisms are employed in sequence to sequence models (seq2seq) to generate reproductions of words from the input to the output. These frameworks, operating at the lexical type level, fail to provide an explicit alignment that records where each token was copied from. Further, they require contiguous token sequences from the input (spans) to be copied individually. We present a model with an explicit token-level copy operation and extend it to copying entire spans. Our model provides hard alignments between spans in the input and output, allowing for nontraditional applications of seq2seq, like information extraction. We demonstrate the approach on Nested Named Entity Recognition, achieving near state-of-the-art accuracy with an order of magnitude increase in decoding speed.
• Abstract（参考訳）: コピー機構は、入力から出力への単語の複製を生成するためにシーケンスモデル(seq2seq)に使用される。 語彙型レベルで動作しているこれらのフレームワークは、各トークンがコピーされた場所を記録する明示的なアライメントを提供していない。 さらに、入力(スパン)からの連続したトークンシーケンスを個別にコピーする必要がある。 明示的なトークンレベルのコピー操作を持つモデルを示し、それを全スパンのコピーに拡張する。 我々のモデルは入力と出力のスパン間のハードアライメントを提供し、情報抽出のような非伝統的なセq2seqの応用を可能にする。 我々はNested Named Entity Recognitionのアプローチを実証し、復号速度を桁違いに増加させ、最先端の精度に近づいた。

関連論文リスト

• Object Recognition as Next Token Prediction [99.40793702627396]
  オブジェクト認識を次のトークン予測として提案する。 その考え方は、画像埋め込みからフォームラベルへのテキストトークンの自動回帰予測を行う言語デコーダを適用することである。
  論文  参考訳（メタデータ） (2023-12-04T18:58:40Z)
• Seq2seq is All You Need for Coreference Resolution [26.551602768015986]
  トレーニング済みのseq2seq変換器を微調整し、コア参照アノテーションを符号化したタグ付きシーケンスに入力文書をマッピングする。 我々のモデルは、データセットの配列に関する文献の中で最高のコア参照システムより優れているか、あるいは密に一致します。
  論文  参考訳（メタデータ） (2023-10-20T19:17:22Z)
• TokenSplit: Using Discrete Speech Representations for Direct, Refined, and Transcript-Conditioned Speech Separation and Recognition [51.565319173790314]
  TokenSplit は Transformer アーキテクチャを使用するシーケンス・ツー・シーケンス・エンコーダ・デコーダモデルである。 また,本モデルでは,書き起こし条件付けの有無にかかわらず,分離の点で優れた性能を発揮することを示す。 また、自動音声認識(ASR)の性能を測定し、音声合成の音声サンプルを提供し、我々のモデルの有用性を実証する。
  論文  参考訳（メタデータ） (2023-08-21T01:52:01Z)
• Copy Is All You Need [66.00852205068327]
  既存のテキストコレクションからテキストセグメントを段階的にコピーするテキスト生成を定式化する。 提案手法は, 自動評価と人的評価の両方により, より優れた生成品質を実現する。 当社のアプローチでは,より大規模なテキストコレクションにスケールアップすることで,さらなるパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2023-07-13T05:03:26Z)
• Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
  本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。 本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-15T05:22:40Z)
• Automatic Label Sequence Generation for Prompting Sequence-to-sequence Models [105.4590533269863]
  完全自動プロンプト方式であるAutoSeqを提案する。 我々はシーケンス・ツー・シーケンス・モデルに自然言語プロンプトを採用する。 本手法は,数ショット学習におけるシーケンス・ツー・シーケンスモデルの可能性を明らかにする。
  論文  参考訳（メタデータ） (2022-09-20T01:35:04Z)
• May the Force Be with Your Copy Mechanism: Enhanced Supervised-Copy Method for Natural Language Generation [1.2453219864236247]
  本稿では,どの単語をコピーする必要があるか,どの単語を生成する必要があるかをモデルが決定するのに役立つ,コピーネットワークの新しい教師付きアプローチを提案する。 具体的には、ソースシーケンスとターゲット語彙をコピーのガイダンスとして利用する目的関数を再定義する。 データ・テキスト・ジェネレーションと抽象的要約タスクの実験結果から,本手法が複写品質を高め,抽象性の程度を向上することを確認した。
  論文  参考訳（メタデータ） (2021-12-20T06:54:28Z)
• BioCopy: A Plug-And-Play Span Copy Mechanism in Seq2Seq Models [3.823919891699282]
  本稿では,長いスパンをコピーしながら重要なトークンを紛失する問題を軽減するために,BioCopyというプラグイン・アンド・プレイアーキテクチャを提案する。 具体的には、トレーニング段階において、トークン毎にBIOタグを構築し、BIOタグを併用してオリジナルのモデルをトレーニングする。 推測段階では、モデルはまず各タイミングでBIOタグを予測し、予測されたBIOラベルに基づいて異なるマスク戦略を実行する。 2つの別個の生成タスクの実験結果から,BioCopyを元のモデル構造に加えることで,ベースラインモデルよりも優れることが示された。
  論文  参考訳（メタデータ） (2021-09-26T08:55:26Z)
• Lexicon-constrained Copying Network for Chinese Abstractive Summarization [0.0]
  コピー機構により、シーケンス・ツー・シーケンス・モデルは入力から単語を選択し、直接出力に入力することができる。 中国の抽象的要約のための既存のモデルのほとんどは文字コピーしか実行できない。 本稿では,メモリとデコーダの両方の多重粒度をモデル化する辞書拘束型複写ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-16T06:59:34Z)
• Copy that! Editing Sequences by Copying Spans [40.23377412674599]
  1ステップで入力のスパン全体を出力にコピーできるSeq2seqモデルの拡張を提案する。 自然言語とソースコードの様々な編集タスクの実験において、我々の新しいモデルはより単純なベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-08T17:42:18Z)
• Cascaded Text Generation with Markov Transformers [122.76100449018061]
  ニューラルテキスト生成における2つの主要なアプローチは、シリアルビームサーチデコーディングを使用した完全自己回帰モデルと、出力依存のない並列デコーディングを使用した非自己回帰モデルである。 本稿では,境界付きコンテキストを持つ条件付きランダムフィールドを並列にデコードできることに言及し,高品質な出力を生成するための効率的なカスケードデコード手法を提案する。 このアプローチでは,5つの機械翻訳データセットの既存の手法と比較して,競争力のある精度と速度のトレードオフを示す一方で,標準的な自己回帰トレーニングからのわずかな変更しか必要としない。
  論文  参考訳（メタデータ） (2020-06-01T17:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。