論文の概要: Exploration of Plan-Guided Summarization for Narrative Texts: the Case of Small Language Models
- arxiv url: http://arxiv.org/abs/2504.09071v1
- Date: Sat, 12 Apr 2025 04:11:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-24 16:01:46.73689
- Title: Exploration of Plan-Guided Summarization for Narrative Texts: the Case of Small Language Models
- Title(参考訳): ナラティブテキストのための計画誘導要約の探索:小言語モデルの場合
- Authors: Matt Grenander, Siddharth Varia, Paula Czarnowska, Yogarshi Vyas, Kishaloy Halder, Bonan Min,
- Abstract要約: 計画誘導要約は、生成した要約を原文に接地することで、小言語モデル(SLM)の幻覚を減らそうとする。
我々は、詳細な詳細をターゲットとした既存の計画誘導ソリューションを分析し、また、より高レベルで物語に基づく計画定式化を提案する。
以上の結果から,概略品質や忠実度を計画することなく,ベースラインでのアプローチが著しく改善されることが示唆された。
- 参考スコア(独自算出の注目度): 15.056004370209916
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Plan-guided summarization attempts to reduce hallucinations in small language models (SLMs) by grounding generated summaries to the source text, typically by targeting fine-grained details such as dates or named entities. In this work, we investigate whether plan-based approaches in SLMs improve summarization in long document, narrative tasks. Narrative texts' length and complexity often mean they are difficult to summarize faithfully. We analyze existing plan-guided solutions targeting fine-grained details, and also propose our own higher-level, narrative-based plan formulation. Our results show that neither approach significantly improves on a baseline without planning in either summary quality or faithfulness. Human evaluation reveals that while plan-guided approaches are often well grounded to their plan, plans are equally likely to contain hallucinations compared to summaries. As a result, the plan-guided summaries are just as unfaithful as those from models without planning. Our work serves as a cautionary tale to plan-guided approaches to summarization, especially for long, complex domains such as narrative texts.
- Abstract(参考訳): 計画誘導要約は、生成した要約をソーステキストに接地することで、小さな言語モデル(SLM)における幻覚を減らそうとする。
本研究では,SLMにおける計画ベースアプローチが長期文書,物語タスクの要約を改善するかどうかを考察する。
物語文の長さと複雑さは、しばしばそれらが忠実に要約することが難しいことを意味する。
我々は、詳細な詳細をターゲットとした既存の計画誘導ソリューションを分析し、また、より高レベルで物語に基づく計画定式化を提案する。
以上の結果から,概略品質や忠実度を計画することなく,ベースラインでのアプローチが著しく改善されることが示唆された。
人間の評価では、計画誘導アプローチは計画によく根ざしているのに対し、計画には要約よりも幻覚が含まれる可能性が高いことが示されている。
結果として、計画ガイダンスの要約は、計画のないモデルによるものと同じくらい不誠実です。
我々の研究は、特に物語テキストのような長い複雑な領域において、計画的指導による要約へのアプローチに注意深い物語として機能する。
関連論文リスト
- Explanatory Summarization with Discourse-Driven Planning [58.449423507036414]
本稿では、談話フレームワークを活用して要約生成を整理し、説明文を案内するプランベースアプローチを提案する。
具体的には、2つの談話型計画戦略を提案し、そこでは、計画が出力プレフィックスの入力または部分の一部として条件付けられている。
3つのレイ・サマリゼーション・データセットに関する実証実験により,本手法は要約品質の観点から既存の最先端手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2025-04-27T19:47:36Z) - Plan-and-Act: Improving Planning of Agents for Long-Horizon Tasks [36.63527489464188]
Plan-and-Actは、大規模言語モデル(LLM)に明示的なプランニングを組み込んだフレームワークである。
Plan-and-Actは、ユーザ目標を達成するための構造化された高レベルのプランを生成するPlannerモデルと、これらのプランを環境固有のアクションに変換するExecutorモデルで構成される。
我々は,WebArena-Liteベンチマークにおいて,Webナビゲーションを代表的な長期計画環境として利用し,最先端の54%の成功率を示す。
論文 参考訳(メタデータ) (2025-03-12T17:40:52Z) - Analysis of Plan-based Retrieval for Grounded Text Generation [78.89478272104739]
幻覚は、言語モデルがそのパラメトリック知識の外で生成タスクが与えられるときに起こる。
この制限に対処するための一般的な戦略は、言語モデルに検索メカニズムを注入することである。
我々は,幻覚の頻度をさらに減少させるために,探索のガイドとして計画をどのように利用できるかを分析する。
論文 参考訳(メタデータ) (2024-08-20T02:19:35Z) - PLANTS: A Novel Problem and Dataset for Summarization of Planning-Like (PL) Tasks [6.408228255254908]
我々は,新しい計画要約問題を導入し,データセットを提示し,PL要約を生成するベースライン手法を提供する。
我々は、この新たな問題とデータセットが要約の研究を再活性化できると信じており、これは解決された問題であると考える者もいる。
論文 参考訳(メタデータ) (2024-07-18T15:36:02Z) - Exploring and Benchmarking the Planning Capabilities of Large Language Models [57.23454975238014]
この研究は、大規模言語モデル(LLM)の計画能力を改善するための基礎を築いた。
我々は、古典的な計画ベンチマークと自然言語シナリオの両方を含む包括的なベンチマークスイートを構築した。
本研究は,LLM計画の強化を目的としたマルチショットインコンテキスト学習について検討し,文脈長の増大と計画性能の向上の関係について検討する。
論文 参考訳(メタデータ) (2024-06-18T22:57:06Z) - EIPE-text: Evaluation-Guided Iterative Plan Extraction for Long-Form
Narrative Text Generation [114.50719922069261]
長文物語テキスト生成のための評価誘導反復計画抽出法(EIPE-text)を提案する。
EIPEテキストには、計画抽出、学習、推論の3段階がある。
小説やストーリーテリングの分野におけるEIPEテキストの有効性を評価する。
論文 参考訳(メタデータ) (2023-10-12T10:21:37Z) - Zero-Shot On-the-Fly Event Schema Induction [61.91468909200566]
本稿では,大規模な言語モデルを用いて,高レベルなイベント定義,特定のイベント,引数,それらの関係を予測・付与するソースドキュメントを生成する手法を提案する。
我々のモデルを用いて、任意のトピックに関する完全なスキーマを、手動のデータ収集、すなわちゼロショットの方法で、オンザフライで生成することができる。
論文 参考訳(メタデータ) (2022-10-12T14:37:00Z) - Summarize, Outline, and Elaborate: Long-Text Generation via Hierarchical
Supervision from Extractive Summaries [46.183289748907804]
長文生成のためのアウトライン化,アウトライン化,エラボレートを行うパイプラインシステムSOEを提案する。
SOEは、より高速な収束速度とともに、非常に優れた品質の長いテキストを生成する。
論文 参考訳(メタデータ) (2020-10-14T13:22:20Z) - Screenplay Summarization Using Latent Narrative Structure [78.45316339164133]
本稿では,物語の基盤となる構造を一般教師なし・教師付き抽出要約モデルに明示的に組み込むことを提案する。
重要な物語イベント(転回点)の観点で物語構造を定式化し、脚本を要約するために潜伏状態として扱う。
シーンレベルの要約ラベルを付加したテレビ画面のCSIコーパスの実験結果から,潜角点がCSIエピソードの重要な側面と相関していることが判明した。
論文 参考訳(メタデータ) (2020-04-27T11:54:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。