論文の概要: ARC: Argument Representation and Coverage Analysis for Zero-Shot Long Document Summarization with Instruction Following LLMs

• arxiv url: http://arxiv.org/abs/2505.23654v1
• Date: Thu, 29 May 2025 17:04:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:08.014629
• Title: ARC: Argument Representation and Coverage Analysis for Zero-Shot Long Document Summarization with Instruction Following LLMs
• Title（参考訳）: ARC: LLMの指示によるゼロショット長文書要約のためのArgument Representation and Coverage Analysis
• Authors: Mohamed Elaraby, Diane Litman,
• Abstract要約: 我々は、特定の形態の構造に焦点をあてる: 議論の役割は、法律のような高度な領域における文書の要約に不可欠である。 本稿では,LLM生成したサマリが有意な議論をいかに捉えるかを測定するためのフレームワークであるArgument Representation Coverage(ARC)を紹介する。 以上の結果から,LLMはある程度は有意な議論の役割を担っているが,生成した要約では重要な情報が省略されることが多かった。
• 参考スコア（独自算出の注目度）: 2.7828644351225087
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Integrating structured information has long improved the quality of abstractive summarization, particularly in retaining salient content. In this work, we focus on a specific form of structure: argument roles, which are crucial for summarizing documents in high-stakes domains such as law. We investigate whether instruction-tuned large language models (LLMs) adequately preserve this information. To this end, we introduce Argument Representation Coverage (ARC), a framework for measuring how well LLM-generated summaries capture salient arguments. Using ARC, we analyze summaries produced by three open-weight LLMs in two domains where argument roles are central: long legal opinions and scientific articles. Our results show that while LLMs cover salient argument roles to some extent, critical information is often omitted in generated summaries, particularly when arguments are sparsely distributed throughout the input. Further, we use ARC to uncover behavioral patterns -- specifically, how the positional bias of LLM context windows and role-specific preferences impact the coverage of key arguments in generated summaries, emphasizing the need for more argument-aware summarization strategies.
• Abstract（参考訳）: 構造化情報の統合は、抽象的な要約の質を長年改善してきた。 本研究は, 論文を要約する上で重要な, 議論の役割という, 特定の形態の構造に焦点をあてる。 命令調整型大規模言語モデル(LLM)がこの情報を適切に保存するかどうかを検討する。 この目的のために、LLM生成した要約が有意な議論をいかにうまく捉えるかを測定するためのフレームワークであるArgument Representation Coverage (ARC)を紹介した。 ARCを用いて、議論が中心となる2つの領域において、3つのオープンウェイトLSMが生成するサマリー、すなわち長期の法的意見と科学的記事を分析する。 以上の結果から, LLM が有意な引数の役割をある程度カバーする一方で, 生成した要約では重要な情報が省略されることが多かった。 さらに、ARCを用いて行動パターンを解明する -- 特に、LLMコンテキストウィンドウの位置バイアスとロール固有の嗜好が、生成された要約におけるキー引数のカバレッジにどのように影響するかを取り上げ、より議論を意識した要約戦略の必要性を強調します。

関連論文リスト

• How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
  大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。 メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:55Z)
• Unstructured Evidence Attribution for Long Context Query Focused Summarization [46.713307974729844]
  大規模言語モデル(LLM)は、ユーザクエリが与えられた場合、非常に長いコンテキストからコヒーレントな要約を生成することができる。 既存のシステムがどのようにして、そのコンテキストから構造化されていない証拠を生成し、適切に引用するのに苦労しているかを示す。
  論文  参考訳（メタデータ） (2025-02-20T09:57:42Z)
• Context-Aware Hierarchical Merging for Long Document Summarization [56.96619074316232]
  本論文では,階層的なマージをソース文書からコンテキストと統合する手法を提案する。 法的および物語的領域を表すデータセットの実験結果は、文脈的拡張がゼロショットと階層的な融合ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-02-03T01:14:31Z)
• Long Context vs. RAG for LLMs: An Evaluation and Revisits [41.27137478456755]
  本稿は、このトピックに関する最近の研究を再考し、その重要な洞察と相違点を明らかにする。 LCは、特にウィキペディアベースの質問に対して、質問応答ベンチマークにおいてRAGよりも優れていた。 また,既存の研究における文脈関連性の重要性を概観する,詳細な議論もおこなう。
  論文  参考訳（メタデータ） (2024-12-27T14:34:37Z)
• CriSPO: Multi-Aspect Critique-Suggestion-guided Automatic Prompt Optimization for Text Generation [18.39379838806384]
  本稿では,CriSPO(Prompt Optimization)アプローチを提案する。 CriSPO はコアコンポーネントとして critique-suggestion モジュールを導入している。 このモジュールは自然にアスペクトを発見し、これらのアスペクト間で生成された参照テキストを比較し、即時修正のための実行可能な提案を提供する。 マルチメトリック最適化によりCrisPOをさらに改善するため、複数のメトリクスにわたるタスクプロンプトのパフォーマンスを向上させるために、自動サフィックスチューニング(AST)拡張を導入する。
  論文  参考訳（メタデータ） (2024-10-03T17:57:01Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 性能ギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• Hierarchical Indexing for Retrieval-Augmented Opinion Summarization [60.5923941324953]
  本稿では,抽出アプローチの帰属性と拡張性と,大規模言語モデル(LLM)の一貫性と拡散性を組み合わせた,教師なし抽象的意見要約手法を提案する。 我々の方法であるHIROは、意味的に整理された離散的な階層を通して文を経路にマッピングするインデックス構造を学習する。 推測時にインデックスを投入し、入力レビューから人気意見を含む文群を識別し、検索する。
  論文  参考訳（メタデータ） (2024-03-01T10:38:07Z)
• ULTRA: Unleash LLMs' Potential for Event Argument Extraction through Hierarchical Modeling and Pair-wise Self-Refinement [6.035020544588768]
  イベント引数抽出(EAE)は、あるイベントのロール固有のテキストスパン(例えば、引数)を特定するタスクである。 本稿では,イベントの議論をよりコスト効率よく抽出する階層的枠組みを提案する。 議論の正確な境界を求める際に, LLM が直面する課題に対処するために LEAFER を導入する。
  論文  参考訳（メタデータ） (2024-01-24T04:13:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。