論文の概要: A Multi-Document Coverage Reward for RELAXed Multi-Document Summarization

• arxiv url: http://arxiv.org/abs/2203.02894v1
• Date: Sun, 6 Mar 2022 07:33:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 16:23:04.408799
• Title: A Multi-Document Coverage Reward for RELAXed Multi-Document Summarization
• Title（参考訳）: RELAXed Multi-Document Summarization のためのマルチドキュメントカバレッジ・リワード
• Authors: Jacob Parnell, Inigo Jauregi Unanue and Massimo Piccardi
• Abstract要約: 本稿では,MDSの基準値と入力文書のカバレッジのバランスをとる報酬を付与したMDSベースラインの微調整を提案する。 Multi-NewsおよびWCEP MDSデータセットに対する実験結果から、ベースライン上での平均ROUGEスコアが+0.95pp、METEORスコアが+3.17ppと大幅に改善された。
• 参考スコア（独自算出の注目度）: 11.02198476454955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-document summarization (MDS) has made significant progress in recent years, in part facilitated by the availability of new, dedicated datasets and capacious language models. However, a standing limitation of these models is that they are trained against limited references and with plain maximum-likelihood objectives. As for many other generative tasks, reinforcement learning (RL) offers the potential to improve the training of MDS models; yet, it requires a carefully-designed reward that can ensure appropriate leverage of both the reference summaries and the input documents. For this reason, in this paper we propose fine-tuning an MDS baseline with a reward that balances a reference-based metric such as ROUGE with coverage of the input documents. To implement the approach, we utilize RELAX (Grathwohl et al., 2018), a contemporary gradient estimator which is both low-variance and unbiased, and we fine-tune the baseline in a few-shot style for both stability and computational efficiency. Experimental results over the Multi-News and WCEP MDS datasets show significant improvements of up to +0.95 pp average ROUGE score and +3.17 pp METEOR score over the baseline, and competitive results with the literature. In addition, they show that the coverage of the input documents is increased, and evenly across all documents.
• Abstract（参考訳）: MDS(Multi-document summarization)は近年,新たな専用データセットと有能な言語モデルの提供によって,大きな進歩を遂げている。 しかし、これらのモデルの立証限界は、限定的な参照と単純な最大類似目的に対して訓練されていることである。 他の多くの生成タスクに関して、強化学習(RL)はMDSモデルのトレーニングを改善する可能性を提供しますが、参照サマリーと入力文書の両方を適切に活用するために、慎重に設計された報酬が必要です。 そこで本稿では,ROUGEなどの基準基準基準値と入力文書のカバレッジとのバランスを考慮に入れたMDSベースラインの微調整を提案する。 提案手法の実装には,低分散かつ非バイアスの現代勾配推定器であるRELAX (Grathwohl et al., 2018) を用い, 安定性と計算効率の両立のために, 数ショットスタイルでベースラインを微調整する。 Multi-News と WCEP MDS データセットに対する実験結果から,平均ROUGE スコアが +0.95 pp ,ベースラインが +3.17 pp METEOR スコアが +0.95 pp となった。 さらに、入力された文書のカバレッジが増加し、すべての文書が均等になることを示す。

関連論文リスト

• LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
  我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。 LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。 ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
  論文  参考訳（メタデータ） (2024-10-14T17:51:23Z)
• Learning from Litigation: Graphs and LLMs for Retrieval and Reasoning in eDiscovery [6.037276428689637]
  本稿では2つの世界の強みを組み合わせたハイブリッド手法であるDISCOG(Disdiscovery Graph)を紹介する。 本手法は,手作業と比較して文書レビューコストを99.9%削減し,LCMに基づく分類法と比較して95%削減する。
  論文  参考訳（メタデータ） (2024-05-29T15:08:55Z)
• PELMS: Pre-training for Effective Low-Shot Multi-Document Summarization [4.6493060043204535]
  PELMSは,簡潔で流動的で忠実な要約を生成する事前学習モデルである。 我々は9300万以上のドキュメントを含むマルチドキュメント事前学習コーパスであるMultiPTをコンパイルし、300万以上の未ラベルのトピック中心のドキュメントクラスタを形成する。 我々のアプローチは、全体的な情報性、抽象性、一貫性、忠実性に関して、競争比較を一貫して上回る。
  論文  参考訳（メタデータ） (2023-11-16T12:05:23Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Combining State-of-the-Art Models with Maximal Marginal Relevance for Few-Shot and Zero-Shot Multi-Document Summarization [0.6690874707758508]
  多文書要約(MDS)は、単一文書要約(SDS)によって生じるものよりも多くの課題を研究者にもたらす 我々は,MMR(Maximal marginal Relevance)を用いた最先端モデルの出力の組み合わせ戦略を提案する。 我々のMMRベースのアプローチは、少数ショットMDSアプリケーションとゼロショットMDSアプリケーションの両方において、現在の最先端の成果のいくつかの側面よりも改善されている。
  論文  参考訳（メタデータ） (2022-11-19T21:46:31Z)
• Evaluating and Improving Factuality in Multimodal Abstractive Summarization [91.46015013816083]
  そこで我々は,CLIPBERTScoreを提案する。 ゼロショットにおけるこの2つの指標の単純な組み合わせは、文書要約のための既存の事実度指標よりも高い相関性が得られることを示す。 本分析は,CLIPBERTScoreとそのコンポーネントの信頼性と高い相関性を示す。
  論文  参考訳（メタデータ） (2022-11-04T16:50:40Z)
• PoBRL: Optimizing Multi-Document Summarization by Blending Reinforcement Learning Policies [68.8204255655161]
  マルチドキュメントの要約を解くための強化学習ベースのフレームワーク PoBRL を提案する。 私たちの戦略は、この多対象最適化を、強化学習によって個別に解決できるさまざまなサブ問題に分離します。 実験結果から,複数のマルチドキュメントデータセットにおける最先端の性能を示す。
  論文  参考訳（メタデータ） (2021-05-18T02:55:42Z)
• VAULT: VAriable Unified Long Text Representation for Machine Reading Comprehension [31.639069657951747]
  機械読取の既存のモデルは、段落表現と分類で長いテキストをモデル化するために複雑なモデルアーキテクチャを必要とする。 長文入力からの文脈化表現に基づく,MDC の軽量かつ並列効率なパラメタ表現 VAULT を提案する。
  論文  参考訳（メタデータ） (2021-05-07T13:03:43Z)
• Leveraging Graph to Improve Abstractive Multi-Document Summarization [50.62418656177642]
  我々は、文書のよく知られたグラフ表現を活用することができる、抽象的多文書要約(MDS)モデルを開発する。 本モデルでは,長い文書の要約に欠かせない文書間関係を捉えるために,文書の符号化にグラフを利用する。 また,このモデルでは,要約生成プロセスの導出にグラフを利用することが可能であり,一貫性と簡潔な要約を生成するのに有用である。
  論文  参考訳（メタデータ） (2020-05-20T13:39:47Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。