論文の概要: AugSumm: towards generalizable speech summarization using synthetic labels from large language model

• arxiv url: http://arxiv.org/abs/2401.06806v1
• Date: Wed, 10 Jan 2024 18:39:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 10:14:23.485237
• Title: AugSumm: towards generalizable speech summarization using synthetic labels from large language model
• Title（参考訳）: augsumm: 大言語モデルを用いた合成ラベルを用いた一般化音声要約
• Authors: Jee-weon Jung, Roshan Sharma, William Chen, Bhiksha Raj, Shinji Watanabe
• Abstract要約: 抽象音声要約(SSUM)は、音声から人間に似た要約を生成することを目的としている。 従来のSSUMモデルは、主に、人間による注釈付き決定論的要約(英語版)を用いて訓練され、評価されている。 AugSummは,人間のアノテータが拡張要約を生成するためのプロキシとして,大規模言語モデル(LLM)を利用する手法である。
• 参考スコア（独自算出の注目度）: 61.73741195292997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Abstractive speech summarization (SSUM) aims to generate human-like summaries from speech. Given variations in information captured and phrasing, recordings can be summarized in multiple ways. Therefore, it is more reasonable to consider a probabilistic distribution of all potential summaries rather than a single summary. However, conventional SSUM models are mostly trained and evaluated with a single ground-truth (GT) human-annotated deterministic summary for every recording. Generating multiple human references would be ideal to better represent the distribution statistically, but is impractical because annotation is expensive. We tackle this challenge by proposing AugSumm, a method to leverage large language models (LLMs) as a proxy for human annotators to generate augmented summaries for training and evaluation. First, we explore prompting strategies to generate synthetic summaries from ChatGPT. We validate the quality of synthetic summaries using multiple metrics including human evaluation, where we find that summaries generated using AugSumm are perceived as more valid to humans. Second, we develop methods to utilize synthetic summaries in training and evaluation. Experiments on How2 demonstrate that pre-training on synthetic summaries and fine-tuning on GT summaries improves ROUGE-L by 1 point on both GT and AugSumm-based test sets. AugSumm summaries are available at https://github.com/Jungjee/AugSumm.
• Abstract（参考訳）: abstractive speech summarization (ssum) は、音声から人間のような要約を生成することを目的としている。 捉えた情報や言い回しのバリエーションを考えると、録音は複数の方法で要約できる。 したがって、単一の要約よりも全ての潜在的要約の確率分布を考える方が妥当である。 しかしながら、従来のSSUMモデルは、主に、録音毎に人間による注釈付き決定論的要約を1つの接地真実(GT)で訓練し、評価する。 複数の人間の参照を生成することは、分布をより統計的に表現するのに理想的であるが、アノテーションが高価であるため実用的ではない。 我々は,大規模言語モデル(llm)を人間用アノテーションのプロキシとして活用する手法であるaugsummを提案することで,この課題に取り組む。 まず、chatgptから合成要約を生成するためのプロンプト戦略を検討する。 我々は,AugSummを用いて生成した要約が人間にとってより有効であると見なされ,人間の評価を含む複数の指標を用いて合成要約の品質を検証する。 第2に,合成要約を訓練・評価に活用する手法を開発した。 How2の実験では、合成サマリーの事前学習とGTサマリーの微調整により、GTおよびAugSummベースのテストセットでROUGE-Lが1ポイント改善された。 AugSummの要約はhttps://github.com/Jungjee/AugSumm.comで入手できる。

関連論文リスト

• Information-Theoretic Distillation for Reference-less Summarization [67.51150817011617]
  本稿では,要約のための情報理論的目的に基づいて,強力な要約器を蒸留する新しい枠組みを提案する。 我々は,教師モデルとしてPythia-2.8Bから出発する。 我々は,ChatGPTと競合する5億8800万のパラメータしか持たないコンパクトだが強力な要約器に到達した。
  論文  参考訳（メタデータ） (2024-03-20T17:42:08Z)
• Source Identification in Abstractive Summarization [0.8883733362171033]
  生成された要約文に必須情報を含む入力文を$textitsource文として定義し、ソース文を解析して抽象的な要約がどのように作られるかを研究する。 我々は,複数の手法を比較し,タスクの強いベースラインを確立するために,自動ソース文検出を定式化する。 実験結果から, パープレキシティに基づく手法は, 比較的抽象的条件下では良好に動作し, 類似性に基づく手法は比較的抽出的条件下では頑健であることがわかった。
  論文  参考訳（メタデータ） (2024-02-07T09:09:09Z)
• On Context Utilization in Summarization with Large Language Models [83.84459732796302]
  大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。 最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。 要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
  論文  参考訳（メタデータ） (2023-10-16T16:45:12Z)
• How Ready are Pre-trained Abstractive Models and LLMs for Legal Case Judgement Summarization? [4.721618284417204]
  近年、抽象的な要約モデルが人気を集めている。 法的なドメイン固有の事前訓練された抽象要約モデルが利用可能になった。 汎用ドメイン事前訓練大型言語モデル(LLM)は高品質なテキストを生成することが知られている。
  論文  参考訳（メタデータ） (2023-06-02T03:16:19Z)
• Lay Text Summarisation Using Natural Language Processing: A Narrative Literature Review [1.8899300124593648]
  本研究の目的は, テキスト要約の手法を記述し, 比較することである。 私たちは82の記事をスクリーニングし、同じデータセットを使用して2020年から2021年の間に8つの関連論文を公開しました。 ハイブリッドアプローチにおける抽出的および抽象的要約法の組み合わせが最も有効であることが判明した。
  論文  参考訳（メタデータ） (2023-03-24T18:30:50Z)
• Generating Multiple-Length Summaries via Reinforcement Learning for Unsupervised Sentence Summarization [44.835811239393244]
  文要約は、テキストの中核的な内容を維持しながら与えられたテキストを短縮する。 人書きの要約のないテキストを要約するために、教師なしのアプローチが研究されている。 本研究では, 基礎構造を含まない強化学習に基づく抽象モデルを提案する。
  論文  参考訳（メタデータ） (2022-12-21T08:34:28Z)
• MACSum: Controllable Summarization with Mixed Attributes [56.685735509260276]
  MACSumは、混合属性を制御するための最初の人間アノテーションによる要約データセットである。 混合制御可能な要約の新しいタスクに対する2つの単純かつ効果的なパラメータ効率のアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-09T17:17:37Z)
• Summarization Programs: Interpretable Abstractive Summarization with Neural Modular Trees [89.60269205320431]
  現在の抽象的要約モデルは明確な解釈可能性の欠如に悩まされるか、あるいは不完全理性を与える。 本稿では,バイナリツリーの(順序付き)リストからなる解釈可能なモジュラーフレームワークであるSummarization Program (SP)を提案する。 要約プログラムは、要約文毎に1つのルートノードを含み、各要約文と文書文を個別のツリーで接続する。
  論文  参考訳（メタデータ） (2022-09-21T16:50:22Z)
• ARMAN: Pre-training with Semantically Selecting and Reordering of Sentences for Persian Abstractive Summarization [7.16879432974126]
  本稿では,トランスフォーマーをベースとしたエンコーダデコーダモデルARMANを提案する。 ARMANでは、修正されたセマンティックスコアに基づいて文書からの有能な文が選択され、擬似要約を形成する。 提案手法は,ROUGEとBERTScoreで計測された6つの要約タスクに対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-09-09T08:35:39Z)
• Controllable Abstractive Dialogue Summarization with Sketch Supervision [56.59357883827276]
  本モデルは,最大50.79のROUGE-Lスコアを持つ最大対話要約コーパスSAMSumの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-28T19:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。