論文の概要: FABLES: Evaluating faithfulness and content selection in book-length summarization

• arxiv url: http://arxiv.org/abs/2404.01261v2
• Date: Mon, 30 Sep 2024 17:39:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:01:40.138220
• Title: FABLES: Evaluating faithfulness and content selection in book-length summarization
• Title（参考訳）: FABLES:本長要約における忠実度とコンテンツ選択の評価
• Authors: Yekyung Kim, Yapei Chang, Marzena Karpinska, Aparna Garimella, Varun Manjunatha, Kyle Lo, Tanya Goyal, Mohit Iyyer,
• Abstract要約: 本稿では,本書の忠実度と内容選択の大規模評価を行う。 LLMが生成した26冊のサマリーで作成した3,158冊の注釈のデータセットであるFABLESを5.2KUSDで収集する。 注釈の分析によると、ほとんどの不誠実な主張は出来事や登場人物の状態に関係しており、物語を無効にするために間接的推論を必要とする。
• 参考スコア（独自算出の注目度）: 55.50680057160788
• License:
• Abstract: While long-context large language models (LLMs) can technically summarize book-length documents (>100K tokens), the length and complexity of the documents have so far prohibited evaluations of input-dependent aspects like faithfulness. In this paper, we conduct the first large-scale human evaluation of faithfulness and content selection on LLM-generated summaries of fictional books. Our study mitigates the issue of data contamination by focusing on summaries of books published in 2023 or 2024, and we hire annotators who have fully read each book prior to the annotation task to minimize cost and cognitive burden. We collect FABLES, a dataset of annotations on 3,158 claims made in LLM-generated summaries of 26 books, at a cost of $5.2K USD, which allows us to rank LLM summarizers based on faithfulness: Claude-3-Opus significantly outperforms all closed-source LLMs, while the open-source Mixtral is on par with GPT-3.5-Turbo. An analysis of the annotations reveals that most unfaithful claims relate to events and character states, and they generally require indirect reasoning over the narrative to invalidate. While LLM-based auto-raters have proven reliable for factuality and coherence in other settings, we implement several LLM raters of faithfulness and find that none correlates strongly with human annotations, especially with regard to detecting unfaithful claims. Our experiments suggest that detecting unfaithful claims is an important future direction not only for summarization evaluation but also as a testbed for long-context understanding. Finally, we move beyond faithfulness by exploring content selection errors in book-length summarization: we develop a typology of omission errors related to crucial narrative elements and also identify a systematic over-emphasis on events occurring towards the end of the book.
• Abstract（参考訳）: 長文大言語モデル(LLM)は、技術的に書籍長の文書(>100Kトークン)を要約することができるが、文書の長さと複雑さは、これまでのところ、忠実性のような入力依存の側面の評価を禁止している。 本稿では,SF書籍のLCM生成要約に忠実さとコンテンツ選択の大規模評価を初めて実施する。 本研究は,2023年あるいは2024年に刊行された書籍の要約に焦点をあてて,データ汚染の問題を緩和するものである。 オープンソースMixtralはGPT-3.5-Turboと同等であるのに対して、Claude-3-OpusはすべてのクローズドソースLLMを著しく上回ります。 注釈の分析によると、ほとんどの不誠実な主張は出来事や登場人物の状態に関係しており、物語を無効にするために間接的推論を必要とする。 LLMベースのオートレーダは、他の環境では事実性やコヒーレンスに信頼性があることが証明されているが、忠実な複数のLDMレーダを実装し、特に不誠実なクレームの検出に関して、人のアノテーションと強く相関するものではないことを発見した。 実験の結果,不誠実なクレームの検出は,要約評価だけでなく,長期理解のためのテストベッドとしても重要な将来方向であることが示唆された。 最後に,本書の要約における内容選択誤差を探索することにより,忠実性を超えて,重要な物語要素に関連する省略誤りの類型論を開発し,本書の終わりに生じる事象を体系的に過度に強調する。

関連論文リスト

• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• STORYSUMM: Evaluating Faithfulness in Story Summarization [31.94902013480574]
  本稿では,局所的な忠実度ラベルと誤り説明を含む短編を収録した新しいデータセットであるSTORYSUMMを紹介する。 このベンチマークは、あるメソッドが挑戦的な不整合を検出できるかどうかをテストする評価方法である。
  論文  参考訳（メタデータ） (2024-07-09T02:06:30Z)
• WikiContradict: A Benchmark for Evaluating LLMs on Real-World Knowledge Conflicts from Wikipedia [59.96425443250666]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル(LLM)の限界を緩和する,有望なソリューションとして登場した。 本研究では,ウィキペディアからの矛盾文に基づく質問に対するLLM生成回答の総合評価を行う。 我々は、単一のパスを持つRAGと2つの矛盾するパスを持つRAGを含む、様々なQAシナリオ下で、クローズドおよびオープンソース両方のLSMをベンチマークする。
  論文  参考訳（メタデータ） (2024-06-19T20:13:42Z)
• TofuEval: Evaluating Hallucinations of LLMs on Topic-Focused Dialogue Summarization [29.49641083851667]
  様々な大きさのLPMによって生成される話題中心の対話要約に関する新しい評価ベンチマークを提案する。 我々はこれらの要約の事実整合性に関する二項文レベルの人文アノテーションと、事実整合性のある文章の詳細な説明を提供する。
  論文  参考訳（メタデータ） (2024-02-20T18:58:49Z)
• On Context Utilization in Summarization with Large Language Models [83.84459732796302]
  大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。 最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。 要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
  論文  参考訳（メタデータ） (2023-10-16T16:45:12Z)
• BooookScore: A systematic exploration of book-length summarization in the era of LLMs [53.42917858142565]
  我々は,識別されたエラータイプを一切含まない要約文の割合を計測する自動測度BooookScoreを開発した。 GPT-4 や 2 のようなクローズドソース LLM は,オープンソースモデルよりも BooookScore の高いサマリーを生成することがわかった。
  論文  参考訳（メタデータ） (2023-10-01T20:46:44Z)
• Element-aware Summarization with Large Language Models: Expert-aligned Evaluation and Chain-of-Thought Method [35.181659789684545]
  自動要約は、ソースドキュメントのキーアイデアを含む簡潔な要約を生成する。 CNN/DailyMailやBBC XSumからの引用は、主に幻覚と情報冗長性の点で騒々しい。 本稿では,LCMを段階的に生成するためにSumCoT(Slide Chain-of-Thought)手法を提案する。 実験結果から, ROUGE-L では, 最先端の微調整 PLM とゼロショット LLM を+4.33/+4.77 で上回った。
  論文  参考訳（メタデータ） (2023-05-22T18:54:35Z)
• Evaluating the Factual Consistency of Large Language Models Through News Summarization [97.04685401448499]
  本稿では,要約タスクに着目したFIB(Factual Inconsistency Benchmark)と呼ばれる新しいベンチマークを提案する。 現実的に一貫した要約では、手作業で事実的に一貫したものとして検証する、人書きの参照要約を使用します。 現実的に矛盾しない要約に対して、我々は、事実的に矛盾しているとして手動で注釈付けした一連の要約モデルから要約を生成する。
  論文  参考訳（メタデータ） (2022-11-15T18:50:34Z)
• FEQA: A Question Answering Evaluation Framework for Faithfulness Assessment in Abstractive Summarization [34.2456005415483]
  我々は,その資料から生成した要約の忠実さを評価する問題に取り組む。 現在のモデルでは、抽象性と忠実性のトレードオフが示されています。 本稿では,信頼度を基準とした質問応答(QA)尺度を提案する。
  論文  参考訳（メタデータ） (2020-05-07T21:00:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。