論文の概要: Non-Autoregressive Sentence Ordering

• arxiv url: http://arxiv.org/abs/2310.12640v1
• Date: Thu, 19 Oct 2023 10:57:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 15:46:57.757926
• Title: Non-Autoregressive Sentence Ordering
• Title（参考訳）: 非自己回帰文順序付け
• Authors: Yi Bin, Wenhao Shi, Bin Ji, Jipeng Zhang, Yujuan Ding, Yang Yang
• Abstract要約: 文間の相互依存を探索し,各位置の文を並列に予測する,textitNAON と呼ばれる新しい非自己回帰順序付けネットワークを提案する。 提案手法は,複数の一般的なデータセットに対して広範囲に実験を行い,提案手法が自己回帰的アプローチよりも優れていることを示す実験結果を得た。
• 参考スコア（独自算出の注目度）: 22.45972496989434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing sentence ordering approaches generally employ encoder-decoder frameworks with the pointer net to recover the coherence by recurrently predicting each sentence step-by-step. Such an autoregressive manner only leverages unilateral dependencies during decoding and cannot fully explore the semantic dependency between sentences for ordering. To overcome these limitations, in this paper, we propose a novel Non-Autoregressive Ordering Network, dubbed \textit{NAON}, which explores bilateral dependencies between sentences and predicts the sentence for each position in parallel. We claim that the non-autoregressive manner is not just applicable but also particularly suitable to the sentence ordering task because of two peculiar characteristics of the task: 1) each generation target is in deterministic length, and 2) the sentences and positions should match exclusively. Furthermore, to address the repetition issue of the naive non-autoregressive Transformer, we introduce an exclusive loss to constrain the exclusiveness between positions and sentences. To verify the effectiveness of the proposed model, we conduct extensive experiments on several common-used datasets and the experimental results show that our method outperforms all the autoregressive approaches and yields competitive performance compared with the state-of-the-arts. The codes are available at: \url{https://github.com/steven640pixel/nonautoregressive-sentence-ordering}.
• Abstract（参考訳）: 既存の文順序付けアプローチでは、通常、各文をステップバイステップで繰り返し予測することでコヒーレンスを回復するために、ポインタネットを用いたエンコーダデコーダフレームワークを使用する。 このような自己回帰的手法は、デコード中の一方的な依存関係のみを活用するため、順序付けのための文間のセマンティック依存関係を完全に調べることができない。 このような制約を克服するため,本稿では,文間の相互依存を探索し,各位置の文を並列に予測する「textit{NAON}」という,非自己回帰順序付けネットワークを提案する。 我々は、非自己回帰的方法が単に適用可能であるだけでなく、そのタスクの2つの特徴から、文順序付けタスクに特に適していると主張している。 1)各世代目標が決定論的長さであり、 2) 文及び位置は,排他的に一致すべきである。 さらに,非自己回帰変換器の繰り返し問題に対処するために,位置と文間の排他性を制限する排他的損失を導入する。 提案手法の有効性を検証するため,本手法が自己回帰的アプローチを全て上回って,最先端のデータセットと比較して競争力の高い性能が得られることを示す実験結果を得た。 コードは \url{https://github.com/steven640pixel/nonautoregressive-sentence-ordering} で入手できる。

関連論文リスト

• Bipartite Graph Pre-training for Unsupervised Extractive Summarization with Graph Convolutional Auto-Encoders [24.13261636386226]
  本研究は, 文章表現の正当性や特徴を最適化するプロセスから, 事前学習した埋め込みを活用することで, 重要な文のランク付けに役立てるものであることを論じる。 そこで本研究では,文埋め込みのためのグラフ事前学習オートエンコーダを提案する。
  論文  参考訳（メタデータ） (2023-10-29T12:27:18Z)
• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• Enhancing Coherence of Extractive Summarization with Multitask Learning [40.349019691412465]
  本研究では,コヒーレンス向上を伴う抽出要約のためのマルチタスク学習アーキテクチャを提案する。 アーキテクチャは、抽出要約器とコヒーレント判別器モジュールとを含む。 実験の結果,提案手法は抽出した要約文の連続文の割合を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2023-05-22T09:20:58Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers [107.12125265675483]
  教師なし抽出文書要約は、訓練中にラベル付き要約を用いることなく、文書から重要な文章を選択することを目的としている。 既存の手法は主にグラフベースで、文をノードとして、エッジの重みは文の類似性によって測定される。 教師なし抽出要約のための文のランク付けにはトランスフォーマーの注意が利用できることがわかった。
  論文  参考訳（メタデータ） (2020-10-16T08:44:09Z)
• Neural Syntactic Preordering for Controlled Paraphrase Generation [57.5316011554622]
  私たちの研究は、構文変換を使用して、ソース文をソフトに"リオーダー"し、神経パラフレージングモデルをガイドします。 まず、入力文が与えられた場合、エンコーダ・デコーダモデルを用いて、実行可能な構文再構成のセットを導出する。 次に、提案した各再構成を用いて位置埋め込みのシーケンスを生成し、最終的なエンコーダ-デコーダパラフレーズモデルが特定の順序でソース語に従属することを奨励する。
  論文  参考訳（メタデータ） (2020-05-05T09:02:25Z)
• Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading [96.48553941812366]
  唇読解は唇運動系列から音声内容を推測することを目的としている。 seq2seqモデルの伝統的な学習プロセスには2つの問題がある。 本稿では,これら2つの問題に対処するために,PCPGに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T09:12:26Z)
• Fact-aware Sentence Split and Rephrase with Permutation Invariant Training [93.66323661321113]
  Sentence Split と Rephrase は、複雑な文をいくつかの単純な文に分解し、その意味を保存することを目的としている。 従来の研究では、パラレル文対からのSeq2seq学習によってこの問題に対処する傾向があった。 本稿では,この課題に対するSeq2seq学習における順序分散の効果を検証するために,置換訓練を導入する。
  論文  参考訳（メタデータ） (2020-01-16T07:30:19Z)
• Revisiting Paraphrase Question Generator using Pairwise Discriminator [25.449902612898594]
  文レベルの埋め込みを得るための新しい手法を提案する。 提案手法は, 意味的埋め込みを行い, パラフレーズ生成および感情分析タスクにおける最先端技術よりも優れる。
  論文  参考訳（メタデータ） (2019-12-31T02:46:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。