論文の概要: Seq2seq is All You Need for Coreference Resolution

• arxiv url: http://arxiv.org/abs/2310.13774v1
• Date: Fri, 20 Oct 2023 19:17:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 05:28:40.556652
• Title: Seq2seq is All You Need for Coreference Resolution
• Title（参考訳）: Seq2seqは、Coreferenceの解決に必要なすべて
• Authors: Wenzheng Zhang, Sam Wiseman, Karl Stratos
• Abstract要約: トレーニング済みのseq2seq変換器を微調整し、コア参照アノテーションを符号化したタグ付きシーケンスに入力文書をマッピングする。 我々のモデルは、データセットの配列に関する文献の中で最高のコア参照システムより優れているか、あるいは密に一致します。
• 参考スコア（独自算出の注目度）: 26.551602768015986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing works on coreference resolution suggest that task-specific models are necessary to achieve state-of-the-art performance. In this work, we present compelling evidence that such models are not necessary. We finetune a pretrained seq2seq transformer to map an input document to a tagged sequence encoding the coreference annotation. Despite the extreme simplicity, our model outperforms or closely matches the best coreference systems in the literature on an array of datasets. We also propose an especially simple seq2seq approach that generates only tagged spans rather than the spans interleaved with the original text. Our analysis shows that the model size, the amount of supervision, and the choice of sequence representations are key factors in performance.
• Abstract（参考訳）: コリファレンス解決に関する既存の研究は、最先端のパフォーマンスを達成するにはタスク固有のモデルが必要であることを示唆している。 本研究では,そのようなモデルが不要であることを示す。 トレーニング済みのseq2seq変換器を微調整し、コア参照アノテーションを符号化したタグ付きシーケンスに入力文書をマッピングする。 極端な単純さにもかかわらず、我々のモデルはデータセットの配列上の文献における最良のコリファレンスシステムよりも優れています。 また,特に単純なseq2seqアプローチを提案し,元のテキストとインターリーブされたスパンではなく,タグ付きスパンのみを生成する。 分析の結果,モデルサイズ,監督の量,シーケンス表現の選択が性能の重要な要因であることがわかった。

関連論文リスト

• Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
  本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。 本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-15T05:22:40Z)
• Conditional set generation using Seq2seq models [52.516563721766445]
  条件セット生成は、トークンの入力シーケンスからセットへのマッピングを学習する。 シーケンス・ツー・シーケンス(Seq2seq)モデルは、モデルセット生成において一般的な選択である。 本稿では,ラベル順序空間上の情報的順序を効果的に抽出する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-25T04:17:50Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Tiny Neural Models for Seq2Seq [0.0]
  pQRNN-MAttと呼ばれるプロジェクションベースエンコーダデコーダモデルを提案する。 その結果得られた量子化モデルのサイズは3.5MB未満であり、デバイス上のレイテンシクリティカルなアプリケーションに適している。 本稿では,多言語意味解析データセットであるMTOPにおいて,平均モデル性能が,85倍の精度で事前学習した埋め込みを用いたLSTMベースのSeq2seqモデルを上回ることを示す。
  論文  参考訳（メタデータ） (2021-08-07T00:39:42Z)
• VAULT: VAriable Unified Long Text Representation for Machine Reading Comprehension [31.639069657951747]
  機械読取の既存のモデルは、段落表現と分類で長いテキストをモデル化するために複雑なモデルアーキテクチャを必要とする。 長文入力からの文脈化表現に基づく,MDC の軽量かつ並列効率なパラメタ表現 VAULT を提案する。
  論文  参考訳（メタデータ） (2021-05-07T13:03:43Z)
• Improving Sequence-to-Sequence Pre-training via Sequence Span Rewriting [54.03356526990088]
  本稿では,Sequence Span Rewriting (SSR) を自己教師付きシーケンス・ツー・シーケンス(seq2seq)事前学習目的として提案する。 SSRは、モデルに不完全なスパンを書き直すように監督することで、より細かい学習信号をテキスト表現に提供します。 各種Seq2seqタスクのT5モデルによる実験により,SSRはSeq2seq事前学習を大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2021-01-02T10:27:11Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)
• Abstractive Summarization with Combination of Pre-trained Sequence-to-Sequence and Saliency Models [11.420640383826656]
  本稿では,テキストの重要部分と事前学習したSeq-to-seqモデルとの相性モデルの有効性について検討する。 組み合わせモデルは、CNN/DMとXSumの両方のデータセット上で、単純な微調整のSeq-to-seqモデルよりも優れていた。
  論文  参考訳（メタデータ） (2020-03-29T14:00:25Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。