論文の概要: Context-Aware Hierarchical Merging for Long Document Summarization

• arxiv url: http://arxiv.org/abs/2502.00977v1
• Date: Mon, 03 Feb 2025 01:14:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:00:25.079987
• Title: Context-Aware Hierarchical Merging for Long Document Summarization
• Title（参考訳）: 長期文書要約のためのコンテキスト対応階層化
• Authors: Litu Ou, Mirella Lapata,
• Abstract要約: 本論文では,階層的なマージをソース文書からコンテキストと統合する手法を提案する。 法的および物語的領域を表すデータセットの実験結果は、文脈的拡張がゼロショットと階層的な融合ベースラインを一貫して上回っていることを示している。
• 参考スコア（独自算出の注目度）: 56.96619074316232
• License:
• Abstract: Hierarchical Merging is a technique commonly used to summarize very long texts ($>$100K tokens) by breaking down the input into smaller sections, summarizing those sections individually, and then merging or combining those summaries into a final coherent summary. Although it helps address the limitations of large language models (LLMs) with fixed input length constraints, the recursive merging process can amplify LLM hallucinations, increasing the risk of factual inaccuracies. In this paper, we seek to mitigate hallucinations by enriching hierarchical merging with context from the source document. Specifically, we propose different approaches to contextual augmentation ranging from \emph{replacing} intermediate summaries with relevant input context, to \emph{refining} them while using the context as supporting evidence, and \emph{aligning} them implicitly (via citations) to the input. Experimental results on datasets representing legal and narrative domains show that contextual augmentation consistently outperforms zero-shot and hierarchical merging baselines for the Llama 3.1 model family. Our analysis further reveals that refinement methods tend to perform best when paired with extractive summarization for identifying relevant input.
• Abstract（参考訳）: 階層的マージング(Hierarchical Merging)は、入力を小さなセクションに分割し、それらを個別に要約し、それらの要約を最後のコヒーレントな要約にマージングまたは組み合わせることによって、非常に長いテキスト($100Kのトークン)を要約するのに一般的に用いられる技法である。 大規模な言語モデル(LLM)の制約に一定の入力長制約で対処するのに役立つが、再帰的なマージ処理はLLM幻覚を増幅し、事実的不正確なリスクを増大させる。 本稿では,ヒエラルキーの融合を資料からの文脈と組み合わせることで,幻覚の緩和を図る。 具体的には、関連する入力コンテキストの中間要約である「emph{replacing」から「emph{refining"」まで、コンテキストを裏付ける証拠として用いながら「emph{refining"から「emph{aligning」まで、暗黙的に(引用を通して)入力に拡張する様々なアプローチを提案する。 法的および物語的ドメインを表すデータセットの実験結果は、文脈的拡張がLlama 3.1モデルファミリーのゼロショットおよび階層的なマージベースラインを一貫して上回っていることを示している。 さらに本分析により,抽出要約と組み合わせて関連する入力を同定した場合,精細化法が最善であることが明らかとなった。

関連論文リスト

• Hierarchical Indexing for Retrieval-Augmented Opinion Summarization [60.5923941324953]
  本稿では,抽出アプローチの帰属性と拡張性と,大規模言語モデル(LLM)の一貫性と拡散性を組み合わせた,教師なし抽象的意見要約手法を提案する。 我々の方法であるHIROは、意味的に整理された離散的な階層を通して文を経路にマッピングするインデックス構造を学習する。 推測時にインデックスを投入し、入力レビューから人気意見を含む文群を識別し、検索する。
  論文  参考訳（メタデータ） (2024-03-01T10:38:07Z)
• On Context Utilization in Summarization with Large Language Models [83.84459732796302]
  大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。 最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。 要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
  論文  参考訳（メタデータ） (2023-10-16T16:45:12Z)
• Text Summarization with Oracle Expectation [88.39032981994535]
  抽出要約は、文書の中で最も重要な文を識別し、連結することによって要約を生成する。 ほとんどの要約データセットは、文書文が要約に値するかどうかを示す金のラベルを持っていない。 本稿では,ソフトな予測に基づく文ラベルを生成する,シンプルで効果的なラベル付けアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-26T14:10:08Z)
• A General Contextualized Rewriting Framework for Text Summarization [15.311467109946571]
  抽出文は比較的焦点が当てられているが、背景知識や談話の文脈が失われる可能性がある。 コンテントベースのアドレッシングによって抽出文を識別し、グループタグアライメントを施したSeq2seqとしてコンテクスト化された書き直しを形式化する。 その結果,本手法は強化学習を必要とせず,非コンテクスチュアライズされた書き換えシステムよりも優れていた。
  論文  参考訳（メタデータ） (2022-07-13T03:55:57Z)
• Reinforcing Semantic-Symmetry for Document Summarization [15.113768658584979]
  文書要約は、長い文書を詳細な情報と正確な意味記述を備えた短いバージョンに凝縮する。 本稿では,文書要約のための新しいtextbfreinforcing stextbfemantic-textbfsymmetric Learning textbfmodelを提案する。 CNN/Daily MailとBigPatentの2つの大胆なベンチマークデータセットに対して、一連の実験が行われた。
  論文  参考訳（メタデータ） (2021-12-14T17:41:37Z)
• Summ^N: A Multi-Stage Summarization Framework for Long Input Dialogues and Documents [13.755637074366813]
  SummNは、典型的な事前訓練されたLMの最大文脈長よりも長いテキストを入力するための、シンプルで柔軟で効果的な多段階フレームワークである。 LMコンテキストサイズを固定したままステージ数を調整することで任意の長さの入力テキストを処理できる。 実験の結果,SummNは従来の最先端手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-10-16T06:19:54Z)
• Contextualized Rewriting for Text Summarization [10.666547385992935]
  グループアライメントを伴うSeq2seq問題として書き換える。 その結果,本手法は非テキスト化書き換えシステムよりも大幅に優れていることがわかった。
  論文  参考訳（メタデータ） (2021-01-31T05:35:57Z)
• Relation Clustering in Narrative Knowledge Graphs [71.98234178455398]
  原文内の関係文は(SBERTと)埋め込み、意味論的に類似した関係をまとめるためにクラスタ化される。 予備的なテストでは、そのようなクラスタリングが類似した関係を検知し、半教師付きアプローチのための貴重な前処理を提供することが示されている。
  論文  参考訳（メタデータ） (2020-11-27T10:43:04Z)
• Extractive Summarization as Text Matching [123.09816729675838]
  本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。 抽出した要約タスクを意味テキストマッチング問題として定式化する。 我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
  論文  参考訳（メタデータ） (2020-04-19T08:27:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。