論文の概要: Fact-aware Sentence Split and Rephrase with Permutation Invariant Training

• arxiv url: http://arxiv.org/abs/2001.11383v2
• Date: Mon, 3 Feb 2020 01:52:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-11 00:11:28.490494
• Title: Fact-aware Sentence Split and Rephrase with Permutation Invariant Training
• Title（参考訳）: 置換不変トレーニングを用いた事実認識文分割と再現
• Authors: Yinuo Guo, Tao Ge, Furu Wei
• Abstract要約: Sentence Split と Rephrase は、複雑な文をいくつかの単純な文に分解し、その意味を保存することを目的としている。 従来の研究では、パラレル文対からのSeq2seq学習によってこの問題に対処する傾向があった。 本稿では,この課題に対するSeq2seq学習における順序分散の効果を検証するために,置換訓練を導入する。
• 参考スコア（独自算出の注目度）: 93.66323661321113
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sentence Split and Rephrase aims to break down a complex sentence into several simple sentences with its meaning preserved. Previous studies tend to address the issue by seq2seq learning from parallel sentence pairs, which takes a complex sentence as input and sequentially generates a series of simple sentences. However, the conventional seq2seq learning has two limitations for this task: (1) it does not take into account the facts stated in the long sentence; As a result, the generated simple sentences may miss or inaccurately state the facts in the original sentence. (2) The order variance of the simple sentences to be generated may confuse the seq2seq model during training because the simple sentences derived from the long source sentence could be in any order. To overcome the challenges, we first propose the Fact-aware Sentence Encoding, which enables the model to learn facts from the long sentence and thus improves the precision of sentence split; then we introduce Permutation Invariant Training to alleviate the effects of order variance in seq2seq learning for this task. Experiments on the WebSplit-v1.0 benchmark dataset show that our approaches can largely improve the performance over the previous seq2seq learning approaches. Moreover, an extrinsic evaluation on oie-benchmark verifies the effectiveness of our approaches by an observation that splitting long sentences with our state-of-the-art model as preprocessing is helpful for improving OpenIE performance.
• Abstract（参考訳）: Sentence Split と Rephrase は、複雑な文をいくつかの単純な文に分解し、その意味を保存することを目的としている。 従来の研究では、並列文ペアからseq2seq学習によってこの問題に対処し、複雑な文を入力とし、一連の単純な文を順次生成する。 しかし、従来のseq2seq学習では、(1)長文に記載された事実を考慮せず、結果として生成された単純な文は、元の文で事実を見逃したり、不正確な表現をしたりする。 2) 生成すべき単純文の順序分散は,長文から派生した簡約文が任意の順序にあるため,訓練中にSeq2seqモデルを混乱させる可能性がある。 この課題を克服するために,まず,モデルが長文から事実を学習できるファクトアウェア文エンコーディングを提案し,文分割の精度を向上させるとともに,seq2seq学習における順序分散の効果を緩和するために置換不変トレーニングを導入する。 WebSplit-v1.0ベンチマークデータセットの実験により、我々のアプローチは、以前のセq2seq学習アプローチよりもパフォーマンスを大幅に改善できることが示された。 さらに,oie-benchmark に対する外在的評価は,前処理による長文分割が OpenIE の性能向上に有効であることを示す観察によって,我々のアプローチの有効性を検証している。

関連論文リスト

• Non-Autoregressive Sentence Ordering [22.45972496989434]
  文間の相互依存を探索し,各位置の文を並列に予測する,textitNAON と呼ばれる新しい非自己回帰順序付けネットワークを提案する。 提案手法は,複数の一般的なデータセットに対して広範囲に実験を行い,提案手法が自己回帰的アプローチよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2023-10-19T10:57:51Z)
• Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
  本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。 本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-15T05:22:40Z)
• Learning to Break the Loop: Analyzing and Mitigating Repetitions for Neural Text Generation [41.3948101212288]
  本稿では,反復トークンの確率と,その文脈における過去の繰り返しとの関係について検討する。 擬似反復データから文レベルの繰り返しの確率をペナルティ化する訓練手法を提案する。
  論文  参考訳（メタデータ） (2022-06-06T05:51:12Z)
• Factual Error Correction for Abstractive Summaries Using Entity Retrieval [57.01193722520597]
  本稿では,エンティティ検索後処理に基づく効率的な事実誤り訂正システムRFECを提案する。 RFECは、原文と対象要約とを比較して、原文から証拠文を検索する。 次に、RFECは、エビデンス文を考慮し、要約中のエンティティレベルのエラーを検出し、エビデンス文から正確なエンティティに置換する。
  論文  参考訳（メタデータ） (2022-04-18T11:35:02Z)
• Using BERT Encoding and Sentence-Level Language Model for Sentence Ordering [0.9134244356393667]
  本稿では,短い記事のコーパスにおける文順序付けのアルゴリズムを提案する。 提案手法では,アテンション機構を用いて文の依存関係をキャプチャするUniversal Transformer (UT) に基づく言語モデルを用いる。 提案モデルには文、言語モデル、Brute Force Searchによる文配列の3つのコンポーネントが含まれている。
  論文  参考訳（メタデータ） (2021-08-24T23:03:36Z)
• Extracting Grammars from a Neural Network Parser for Anomaly Detection in Unknown Formats [79.6676793507792]
  強化学習は、ある未知のフォーマットで文を解析するために、人工知能を訓練する技術として、最近約束されている。 本稿では、ニューラルネットワークから生成規則を抽出し、これらの規則を用いて、ある文が名目か異常かを決定する手順を提案する。
  論文  参考訳（メタデータ） (2021-07-30T23:10:24Z)
• Narrative Incoherence Detection [76.43894977558811]
  本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。 複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
  論文  参考訳（メタデータ） (2020-12-21T07:18:08Z)
• SentPWNet: A Unified Sentence Pair Weighting Network for Task-specific Sentence Embedding [12.020634125787279]
  本稿では,タスク固有の文の埋め込みを学習するための局所性重み付けと学習フレームワークを提案する。 我々のモデルであるSentPWNetは、各文の空間分布を局所性重みとして利用し、文対の情報レベルを示す。
  論文  参考訳（メタデータ） (2020-05-22T18:32:35Z)
• AREDSUM: Adaptive Redundancy-Aware Iterative Sentence Ranking for Extractive Document Summarization [46.00136909474304]
  冗長性を考慮した抽出要約システムは、要約に含まれる文の冗長性を評価する。 従来の研究は、ニューラルシークエンス生成モデルを用いた共同スコアリングと文の選択の有効性を示している。 文選択時のサリエンスと新規性を共同で検討するAREDSUM-SEQと、まずサリエンスをスコアする2ステップのAREDSUM-CTXと、サリエンスと冗長性のバランスを学習するAREDSUM-CTXの2つの適応学習モデルを提案する。
  論文  参考訳（メタデータ） (2020-04-13T20:02:03Z)
• Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading [96.48553941812366]
  唇読解は唇運動系列から音声内容を推測することを目的としている。 seq2seqモデルの伝統的な学習プロセスには2つの問題がある。 本稿では,これら2つの問題に対処するために,PCPGに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T09:12:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。