論文の概要: Recursively Summarizing Books with Human Feedback
- arxiv url: http://arxiv.org/abs/2109.10862v1
- Date: Wed, 22 Sep 2021 17:34:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-23 14:00:39.759948
- Title: Recursively Summarizing Books with Human Feedback
- Title（参考訳）: 人的フィードバックによる再帰的要約
- Authors: Jeff Wu, Long Ouyang, Daniel M. Ziegler, Nissan Stiennon, Ryan Lowe,
Jan Leike, Paul Christiano
- Abstract要約: 本論では,小説全体の抽象的要約の課題について述べる。
タスクの小さな部分でトレーニングされたモデルを使用して、より広範なタスクに対するフィードバックの提供を支援します。
書籍長要約のための最近のBookSumデータセットについて,最先端の成果を得た。
- 参考スコア（独自算出の注目度）: 10.149048526411434
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A major challenge for scaling machine learning is training models to perform
tasks that are very difficult or time-consuming for humans to evaluate. We
present progress on this problem on the task of abstractive summarization of
entire fiction novels. Our method combines learning from human feedback with
recursive task decomposition: we use models trained on smaller parts of the
task to assist humans in giving feedback on the broader task. We collect a
large volume of demonstrations and comparisons from human labelers, and
fine-tune GPT-3 using behavioral cloning and reward modeling to do
summarization recursively. At inference time, the model first summarizes small
sections of the book and then recursively summarizes these summaries to produce
a summary of the entire book. Our human labelers are able to supervise and
evaluate the models quickly, despite not having read the entire books
themselves. Our resulting model generates sensible summaries of entire books,
even matching the quality of human-written summaries in a few cases ($\sim5\%$
of books). We achieve state-of-the-art results on the recent BookSum dataset
for book-length summarization. A zero-shot question-answering model using these
summaries achieves state-of-the-art results on the challenging NarrativeQA
benchmark for answering questions about books and movie scripts. We release
datasets of samples from our model.
- Abstract（参考訳）: 機械学習をスケールする上で大きな課題は、人間が評価するのに非常に困難または時間を要するタスクを実行するためのモデルをトレーニングすることだ。
本稿では,小説全体の抽象要約の課題として,この問題の進展について述べる。
提案手法は,人間のフィードバックからの学習と再帰的タスク分解(recursive Task decomposition)を組み合わせ,タスクの小さな部分で訓練されたモデルを用いて,より広範なタスクに対するフィードバックの提供を支援する。
我々は,人間のラベルから大量の実演と比較を収集し,行動クローニングと報酬モデルを用いて微調整GPT-3を用いて再帰的に要約を行う。
推測時、モデルはまず本の小さな部分を要約し、次にこれらの要約を再帰的に要約して本全体の要約を生成する。
人間のラベルは、本を全部読んでいないにもかかわらず、モデルを素早く監視し、評価することができます。
得られたモデルは本全体の感性的な要約を生成し、人間による要約の質をいくつかのケースで比較する(\sim5\%$)。
書籍長要約のための最近のBookSumデータセットについて,最先端の成果を得た。
これらの要約を用いたゼロショット質問回答モデルは,本や映画の脚本に関する疑問に答えるためのナラティブQAベンチマークにおいて,最先端の結果が得られる。
モデルからサンプルのデータセットをリリースします。
関連論文リスト
- Assessment of Transformer-Based Encoder-Decoder Model for Human-Like Summarization [0.05852077003870416]
この研究は、トランスフォーマーベースのBARTモデルを利用して人間のような要約を行う。
エンコーダ・デコーダモデルの訓練および微調整において,多種多様なサンプル記事を用いて検証を行った。
微調整モデルの性能をベースライン事前訓練モデルと比較する。
BBC Newsの記事に載った実証的な結果は、人間によって書かれた金の標準要約の方が17%も現実的に一貫性があることを示している。
論文 参考訳（メタデータ） (2024-10-22T09:25:04Z) - AugSumm: towards generalizable speech summarization using synthetic
labels from large language model [61.73741195292997]
抽象音声要約(SSUM)は、音声から人間に似た要約を生成することを目的としている。
従来のSSUMモデルは、主に、人間による注釈付き決定論的要約(英語版)を用いて訓練され、評価されている。
AugSummは,人間のアノテータが拡張要約を生成するためのプロキシとして,大規模言語モデル(LLM)を利用する手法である。
論文 参考訳（メタデータ） (2024-01-10T18:39:46Z) - UniSumm and SummZoo: Unified Model and Diverse Benchmark for Few-Shot
Summarization [54.59104881168188]
textscUniSummは、複数の要約タスクで事前訓練された、統合された数ショットの要約モデルである。
textscSummZooは、スクリーンショットの要約をよりよく評価するための新しいベンチマークである。
論文 参考訳（メタデータ） (2022-11-17T18:54:47Z) - Summarization with Graphical Elements [55.5913491389047]
本稿では,グラフィカル要素による要約という新しい課題を提案する。
タスクの研究を支援するために,高品質なラベル付きデータセットを収集する。
論文 参考訳（メタデータ） (2022-04-15T17:16:41Z) - Leveraging Pretrained Models for Automatic Summarization of
Doctor-Patient Conversations [9.184616102949228]
BARTを微調整することで,限られたトレーニングデータを用いて,流動的で適切な要約を生成することができることを示す。
慎重に選択された微調整データセットを用いて、この手法はより長い会話を扱うのに効果的であることが示されている。
論文 参考訳（メタデータ） (2021-09-24T20:18:59Z) - SummerTime: Text Summarization Toolkit for Non-experts [23.041775425059985]
SummerTimeは、さまざまなモデル、データセット、評価メトリクスを含む、テキスト要約のための完全なツールキットである。
SummerTimeはNLP研究者向けに設計されたライブラリと統合されており、使いやすいAPIをユーザに提供する。
論文 参考訳（メタデータ） (2021-08-29T03:24:48Z) - Abstractive Query Focused Summarization with Query-Free Resources [60.468323530248945]
本稿では,汎用的な要約リソースのみを利用して抽象的なqfsシステムを構築する問題を考える。
本稿では,要約とクエリのための新しい統一表現からなるMasked ROUGE回帰フレームワークであるMargeを提案する。
最小限の監視から学習したにもかかわらず,遠隔管理環境において最先端の結果が得られた。
論文 参考訳（メタデータ） (2020-12-29T14:39:35Z) - Learning to summarize from human feedback [18.964548137315333]
人間の嗜好を最適化するモデルを訓練することで、要約品質を著しく改善できることを示す。
我々は、Reddit投稿のTL;DRデータセットのバージョンに適用し、我々のモデルは、人間の参照サマリーと、教師付き学習だけで微調整されたはるかに大きなモデルの両方を著しく上回っていることを発見した。
我々のモデルは、CNN/DMニュース記事にも移行し、ニュース特有の微調整なしに、人間の参照とほぼ同等の要約を生成する。
論文 参考訳（メタデータ） (2020-09-02T19:54:41Z) - Few-Shot Learning for Opinion Summarization [117.70510762845338]
オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。
本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。
提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
論文 参考訳（メタデータ） (2020-04-30T15:37:38Z) - Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。
テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
論文 参考訳（メタデータ） (2020-04-21T16:54:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。