論文の概要: Differentiable N-gram Objective on Abstractive Summarization

• arxiv url: http://arxiv.org/abs/2202.04003v2
• Date: Wed, 9 Feb 2022 03:09:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-10 12:45:25.520201
• Title: Differentiable N-gram Objective on Abstractive Summarization
• Title（参考訳）: 抽象要約に基づく微分可能なN-gram
• Authors: Yunqi Zhu and Wensheng Zhang and Mingjin Zhu
• Abstract要約: ROUGEは、シーケンス・ツー・シーケンスタスクのn-gramに基づく標準的な自動評価指標である。 我々は,訓練基準と評価基準の相違を緩和するために,異なるn-gramの目的を提示する。
• 参考スコア（独自算出の注目度）: 3.566951836397145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: ROUGE is a standard automatic evaluation metric based on n-grams for sequence-to-sequence tasks, while cross-entropy loss is an essential objective of neural network language model that optimizes at a unigram level. We present differentiable n-gram objectives, attempting to alleviate the discrepancy between training criterion and evaluating criterion. The objective maximizes the probabilistic weight of matched sub-sequences, and the novelty of our work is the objective weights the matched sub-sequences equally and does not ceil the number of matched sub-sequences by the ground truth count of n-grams in reference sequence. We jointly optimize cross-entropy loss and the proposed objective, providing decent ROUGE score enhancement over abstractive summarization dataset CNN/DM and XSum, outperforming alternative n-gram objectives.
• Abstract（参考訳）: ROUGEは、シーケンス・ツー・シーケンスタスクのn-gramに基づく標準的な自動評価指標であり、クロスエントロピー損失は、ユニグラムレベルで最適化されるニューラルネットワーク言語モデルの重要な目的である。 そこで我々は,n-gramの目標を微分可能とし,訓練基準と評価基準との相違を緩和する。 この目的は一致したサブシーケンスの確率的重みを最大化し、我々の研究の新規性は一致したサブシーケンスの目的重みを等しく保ち、基準系列におけるn-グラムの基底真理数によって一致したサブシーケンスの数を減少させない。 クロスエントロピー損失と提案する目標を共同で最適化し,抽象要約データセットcnn/dmとxsumに対して,適切なルージュスコアの強化を行い,代替n-gram目標を上回った。

関連論文リスト

• Semiparametric conformal prediction [79.6147286161434]
  リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。 スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。 実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Statistical ranking with dynamic covariates [6.729750785106628]
  確率推定器 (MLE) を計算するための効率的な交互アルゴリズムを提案する。 馬の競馬やテニス競技を含む実世界のデータセットに提案したモデルの適用を実証するために,我々の理論的知見を裏付ける包括的数値的研究を行った。
  論文  参考訳（メタデータ） (2024-06-24T10:26:05Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• Topological Quality of Subsets via Persistence Matching Diagrams [0.196629787330046]
  我々は、トポロジカルデータ解析技術を用いて、そのデータセットに関するサブセットの品質を測定する。 特に,本手法では,選択したサブセットが教師付き学習モデルの貧弱な性能をもたらす可能性がある理由を説明することができる。
  論文  参考訳（メタデータ） (2023-06-04T17:08:41Z)
• Importance Weighted Structure Learning for Scene Graph Generation [40.46394569128303]
  本稿では,シーングラフ生成のための重み付き構造学習手法を提案する。 結果として生じる制約付き変動推論タスクを解決するために、一般的なエントロピーミラー降下アルゴリズムを適用した。 提案手法は,様々な人気シーングラフ生成ベンチマークにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-05-14T09:25:14Z)
• Instance-Level Relative Saliency Ranking with Graph Reasoning [126.09138829920627]
  そこで本研究では,有意な事例を分割し,相対的有意な有意なランク順序を推定するための統一モデルを提案する。 また、サラレンシーランキングブランチを効果的にトレーニングするために、新しい損失関数も提案されている。 実験の結果,提案手法は従来の手法よりも有効であることがわかった。
  論文  参考訳（メタデータ） (2021-07-08T13:10:42Z)
• Don't Take It Literally: An Edit-Invariant Sequence Loss for Text Generation [109.46348908829697]
  生成したn-gramのすべてのn-gramとの一致損失を計算した新しい編集不変シーケンス損失(EISL)を提案する。 ノイズの多いターゲットシーケンスを持つ機械翻訳,教師なしテキストスタイル転送,非自己回帰型機械翻訳の3つのタスクについて実験を行った。
  論文  参考訳（メタデータ） (2021-06-29T03:59:21Z)
• Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading [96.48553941812366]
  唇読解は唇運動系列から音声内容を推測することを目的としている。 seq2seqモデルの伝統的な学習プロセスには2つの問題がある。 本稿では,これら2つの問題に対処するために,PCPGに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T09:12:26Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。