論文の概要: FABLES: Evaluating faithfulness and content selection in book-length summarization

• arxiv url: http://arxiv.org/abs/2404.01261v1
• Date: Mon, 1 Apr 2024 17:33:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 21:36:17.716517
• Title: FABLES: Evaluating faithfulness and content selection in book-length summarization
• Title（参考訳）: FABLES:本長要約における忠実度とコンテンツ選択の評価
• Authors: Yekyung Kim, Yapei Chang, Marzena Karpinska, Aparna Garimella, Varun Manjunatha, Kyle Lo, Tanya Goyal, Mohit Iyyer,
• Abstract要約: 本稿では,本書の忠実度と内容選択の大規模評価を行う。 LLMが生成した26冊のサマリーで作成した3,158冊の注釈のデータセットであるFABLESを5.2KUSDで収集する。 注釈の分析によると、ほとんどの不誠実な主張は出来事や登場人物の状態に関係しており、物語を無効にするために間接的推論を必要とする。
• 参考スコア（独自算出の注目度）: 55.50680057160788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While long-context large language models (LLMs) can technically summarize book-length documents (>100K tokens), the length and complexity of the documents have so far prohibited evaluations of input-dependent aspects like faithfulness. In this paper, we conduct the first large-scale human evaluation of faithfulness and content selection on LLM-generated summaries of fictional books. Our study mitigates the issue of data contamination by focusing on summaries of books published in 2023 or 2024, and we hire annotators who have fully read each book prior to the annotation task to minimize cost and cognitive burden. We collect FABLES, a dataset of annotations on 3,158 claims made in LLM-generated summaries of 26 books, at a cost of $5.2K USD, which allows us to rank LLM summarizers based on faithfulness: Claude-3-Opus significantly outperforms all closed-source LLMs, while the open-source Mixtral is on par with GPT-3.5-Turbo. An analysis of the annotations reveals that most unfaithful claims relate to events and character states, and they generally require indirect reasoning over the narrative to invalidate. While LLM-based auto-raters have proven reliable for factuality and coherence in other settings, we implement several LLM raters of faithfulness and find that none correlates strongly with human annotations, especially with regard to detecting unfaithful claims. Our experiments suggest that detecting unfaithful claims is an important future direction not only for summarization evaluation but also as a testbed for long-context understanding. Finally, we move beyond faithfulness by exploring content selection errors in book-length summarization: we develop a typology of omission errors related to crucial narrative elements and also identify a systematic over-emphasis on events occurring towards the end of the book.
• Abstract（参考訳）: 長文大言語モデル(LLM)は、技術的に書籍長の文書(>100Kトークン)を要約することができるが、文書の長さと複雑さは、これまでのところ、忠実性のような入力依存の側面の評価を禁止している。 本稿では,SF書籍のLCM生成要約に忠実さとコンテンツ選択の大規模評価を初めて実施する。 本研究は,2023年あるいは2024年に刊行された書籍の要約に焦点をあてて,データ汚染の問題を緩和するものである。 オープンソースMixtralはGPT-3.5-Turboと同等であるのに対して、Claude-3-OpusはすべてのクローズドソースLLMを著しく上回ります。 注釈の分析によると、ほとんどの不誠実な主張は出来事や登場人物の状態に関係しており、物語を無効にするために間接的推論を必要とする。 LLMベースのオートレーダは、他の環境では事実性やコヒーレンスに信頼性があることが証明されているが、忠実な複数のLDMレーダを実装し、特に不誠実なクレームの検出に関して、人のアノテーションと強く相関するものではないことを発見した。 実験の結果,不誠実なクレームの検出は,要約評価だけでなく,長期理解のためのテストベッドとしても重要な将来方向であることが示唆された。 最後に,本書の要約における内容選択誤差を探索することにより,忠実性を超えて,重要な物語要素に関連する省略誤りの類型論を開発し,本書の終わりに生じる事象を体系的に過度に強調する。

関連論文リスト

• On Positional Bias of Faithfulness for Long-form Summarization [83.63283027830657]
  LLM(Large Language Models)は、長いコンテキスト設定において、入力の途中で情報に過小評価される位置バイアスを示すことが多い。 長文要約におけるこのバイアスの存在、その忠実性への影響、およびこのバイアスを軽減するための様々な技術について検討する。
  論文  参考訳（メタデータ） (2024-10-31T03:50:15Z)
• Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency [5.9858789096400224]
  大型言語モデル(LLM)は幻覚と呼ばれる現実的な矛盾の問題に悩まされる。 本稿では,スライディングウィンドウと自己整合性を利用した新しい要約生成戦略,すなわちSliSumを提案する。 SliSumは、LLaMA-2、Claude-2、GPT-3.5を含む多種多様なLLMの短文要約および長文要約における忠実性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-31T08:48:48Z)
• WikiContradict: A Benchmark for Evaluating LLMs on Real-World Knowledge Conflicts from Wikipedia [59.96425443250666]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル(LLM)の限界を緩和する,有望なソリューションとして登場した。 本研究では,ウィキペディアからの矛盾文に基づく質問に対するLLM生成回答の総合評価を行う。 我々は、単一のパスを持つRAGと2つの矛盾するパスを持つRAGを含む、様々なQAシナリオ下で、クローズドおよびオープンソース両方のLSMをベンチマークする。
  論文  参考訳（メタデータ） (2024-06-19T20:13:42Z)
• FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction [85.26780391682894]
  自然言語推論とクレーム抽出(FENICE)に基づく要約のファクチュアリティ評価を提案する。 FENICEは、ソース文書内の情報と、要約から抽出されたクレームと呼ばれる一連の原子的事実との間のNLIベースのアライメントを利用する。 我々の測定基準は、事実性評価のためのデファクトベンチマークであるAGGREFACTに関する新しい技術状況を設定する。
  論文  参考訳（メタデータ） (2024-03-04T17:57:18Z)
• TofuEval: Evaluating Hallucinations of LLMs on Topic-Focused Dialogue Summarization [29.49641083851667]
  様々な大きさのLPMによって生成される話題中心の対話要約に関する新しい評価ベンチマークを提案する。 我々はこれらの要約の事実整合性に関する二項文レベルの人文アノテーションと、事実整合性のある文章の詳細な説明を提供する。
  論文  参考訳（メタデータ） (2024-02-20T18:58:49Z)
• BooookScore: A systematic exploration of book-length summarization in the era of LLMs [53.42917858142565]
  我々は,識別されたエラータイプを一切含まない要約文の割合を計測する自動測度BooookScoreを開発した。 GPT-4 や 2 のようなクローズドソース LLM は,オープンソースモデルよりも BooookScore の高いサマリーを生成することがわかった。
  論文  参考訳（メタデータ） (2023-10-01T20:46:44Z)
• Element-aware Summarization with Large Language Models: Expert-aligned Evaluation and Chain-of-Thought Method [35.181659789684545]
  自動要約は、ソースドキュメントのキーアイデアを含む簡潔な要約を生成する。 CNN/DailyMailやBBC XSumからの引用は、主に幻覚と情報冗長性の点で騒々しい。 本稿では,LCMを段階的に生成するためにSumCoT(Slide Chain-of-Thought)手法を提案する。 実験結果から, ROUGE-L では, 最先端の微調整 PLM とゼロショット LLM を+4.33/+4.77 で上回った。
  論文  参考訳（メタデータ） (2023-05-22T18:54:35Z)
• Evaluating the Factual Consistency of Large Language Models Through News Summarization [97.04685401448499]
  本稿では,要約タスクに着目したFIB(Factual Inconsistency Benchmark)と呼ばれる新しいベンチマークを提案する。 現実的に一貫した要約では、手作業で事実的に一貫したものとして検証する、人書きの参照要約を使用します。 現実的に矛盾しない要約に対して、我々は、事実的に矛盾しているとして手動で注釈付けした一連の要約モデルから要約を生成する。
  論文  参考訳（メタデータ） (2022-11-15T18:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。