論文の概要: BookAsSumQA: An Evaluation Framework for Aspect-Based Book Summarization via Question Answering
- arxiv url: http://arxiv.org/abs/2511.06183v1
- Date: Sun, 09 Nov 2025 01:54:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-11 21:18:44.796629
- Title: BookAsSumQA: An Evaluation Framework for Aspect-Based Book Summarization via Question Answering
- Title（参考訳）: BookAsSumQA: 質問応答によるアスペクトベースの書籍要約の評価フレームワーク
- Authors: Ryuhei Miyazato, Ting-Ruen Wei, Xuyang Wu, Hsin-Tai Wu, Kei Harada,
- Abstract要約: BookAsSumQAはアスペクトベースの書籍要約のためのQAベースの評価フレームワークである。
実験の結果,LPMに基づくアプローチは短いテキストに対して高い精度を示す一方で,RAGに基づく手法は文書長の増加とともにより効果的になることがわかった。
- 参考スコア（独自算出の注目度）: 2.703301365475554
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Aspect-based summarization aims to generate summaries that highlight specific aspects of a text, enabling more personalized and targeted summaries. However, its application to books remains unexplored due to the difficulty of constructing reference summaries for long text. To address this challenge, we propose BookAsSumQA, a QA-based evaluation framework for aspect-based book summarization. BookAsSumQA automatically generates aspect-specific QA pairs from a narrative knowledge graph to evaluate summary quality based on its question-answering performance. Our experiments using BookAsSumQA revealed that while LLM-based approaches showed higher accuracy on shorter texts, RAG-based methods become more effective as document length increases, making them more efficient and practical for aspect-based book summarization.
- Abstract（参考訳）: アスペクトベースの要約は、テキストの特定の側面を強調する要約を生成し、よりパーソナライズされ、ターゲットとする要約を可能にすることを目的としている。
しかし、長文の参考要約の構築が困難であったため、本への適用は未定である。
この課題に対処するために、アスペクトベースの書籍要約のためのQAベースの評価フレームワークであるBookAsSumQAを提案する。
BookAsSumQAは、物語知識グラフからアスペクト固有のQAペアを自動的に生成し、質問応答性能に基づいて要約品質を評価する。
BookAsSumQA を用いた実験の結果,短いテキストに対して LLM ベースの手法がより高精度であるのに対して,RAG ベースの手法は文書長の増大に伴って効率が向上し,アスペクトベースの書籍要約においてより効率的で実用的なものとなった。
関連論文リスト
- CARPAS: Towards Content-Aware Refinement of Provided Aspects for Summarization in Large Language Models [16.41705871316774]
本稿では,CARPAS(Content-Aware Refinement of Productd aspects for Summarization)を紹介する。
本稿では,関連する側面の数を予測するための予備的なサブタスクを提案し,その予測数が効果的なガイダンスとして機能できることを実証する。
実験の結果,提案手法は全データセットのパフォーマンスを著しく向上させることがわかった。
論文 参考訳（メタデータ） (2025-10-08T16:16:46Z) - Multi2: Multi-Agent Test-Time Scalable Framework for Multi-Document Processing [43.75154489681047]
MDS(Multi-Document Summarization)のためのテスト時間スケーリングを利用した新しいフレームワークを提案する。
提案手法では,様々なプロンプトを用いて複数の候補サマリーを生成し,アグリゲータと組み合わせて洗練されたサマリーを生成する。
また,本手法を効果的に評価するために,LCM-ACU(Consistency-Aware Preference)スコアとLLM-Content-Unit(LLM-ACU)スコアという2つの新しいLCMベースの指標を導入する。
論文 参考訳（メタデータ） (2025-02-27T23:34:47Z) - Benchmarking Large Language Models for Conversational Question Answering in Multi-instructional Documents [61.41316121093604]
対話型質問応答(CQA)の文脈における大規模言語モデル(LLM)を評価するための新しいベンチマークであるInsCoQAを提案する。
InsCoQAは、百科事典スタイルの教育内容から派生したもので、複数の文書から手続き的ガイダンスを抽出し、解釈し、正確に要約する能力のモデルを評価する。
また,LLM支援型評価器であるInsEvalを提案する。
論文 参考訳（メタデータ） (2024-10-01T09:10:00Z) - Beyond Relevant Documents: A Knowledge-Intensive Approach for Query-Focused Summarization using Large Language Models [27.90653125902507]
本稿では,知識集約型タスク設定として,クエリ中心の要約を再構成する知識集約型アプローチを提案する。
検索モジュールは、大規模知識コーパスから潜在的に関連のある文書を効率的に検索する。
要約コントローラは、強力な大言語モデル(LLM)ベースの要約器を注意深く調整されたプロンプトとシームレスに統合する。
論文 参考訳（メタデータ） (2024-08-19T18:54:20Z) - FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction [85.26780391682894]
自然言語推論とクレーム抽出(FENICE)に基づく要約のファクチュアリティ評価を提案する。
FENICEは、ソース文書内の情報と、要約から抽出されたクレームと呼ばれる一連の原子的事実との間のNLIベースのアライメントを利用する。
我々の測定基準は、事実性評価のためのデファクトベンチマークであるAGGREFACTに関する新しい技術状況を設定する。
論文 参考訳（メタデータ） (2024-03-04T17:57:18Z) - QontSum: On Contrasting Salient Content for Query-focused Summarization [22.738731393540633]
クエリ中心の要約(QFS)は、特定のクエリに対処する要約を生成する自然言語処理において難しいタスクである。
本稿では,GARにおけるQFSの役割について述べる。
コントラスト学習を利用したQFSの新しい手法であるQontSumを提案する。
論文 参考訳（メタデータ） (2023-07-14T19:25:35Z) - SummIt: Iterative Text Summarization via ChatGPT [12.966825834765814]
本稿では,ChatGPTのような大規模言語モデルに基づく反復的なテキスト要約フレームワークSummItを提案する。
我々のフレームワークは、自己評価とフィードバックによって生成された要約を反復的に洗練することを可能にする。
また, 繰り返し改良の有効性を検証し, 過補正の潜在的な問題を特定するために, 人間の評価を行う。
論文 参考訳（メタデータ） (2023-05-24T07:40:06Z) - Abstractive Query Focused Summarization with Query-Free Resources [60.468323530248945]
本稿では,汎用的な要約リソースのみを利用して抽象的なqfsシステムを構築する問題を考える。
本稿では,要約とクエリのための新しい統一表現からなるMasked ROUGE回帰フレームワークであるMargeを提案する。
最小限の監視から学習したにもかかわらず,遠隔管理環境において最先端の結果が得られた。
論文 参考訳（メタデータ） (2020-12-29T14:39:35Z) - Towards Question-Answering as an Automatic Metric for Evaluating the
Content Quality of a Summary [65.37544133256499]
質問回答(QA)を用いて要約内容の質を評価する指標を提案する。
提案指標であるQAEvalの分析を通じて,QAに基づくメトリクスの実験的メリットを実証する。
論文 参考訳（メタデータ） (2020-10-01T15:33:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。