論文の概要: Integrating Planning into Single-Turn Long-Form Text Generation

• arxiv url: http://arxiv.org/abs/2410.06203v1
• Date: Tue, 8 Oct 2024 17:02:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 10:41:07.209574
• Title: Integrating Planning into Single-Turn Long-Form Text Generation
• Title（参考訳）: 単軸長文生成への計画統合
• Authors: Yi Liang, You Wu, Honglei Zhuang, Li Chen, Jiaming Shen, Yiling Jia, Zhen Qin, Sumit Sanghai, Xuanhui Wang, Carl Yang, Michael Bendersky,
• Abstract要約: 長文コンテンツを生成するための計画案を提案する。 私たちの主な新規性は、複数のプロンプトや計画のラウンドを必要としない単一の補助的なタスクにあります。 実験では,LLMを補助タスクで微調整し,高品質な文書を生成する,異なる領域からの2つのデータセットを実証した。
• 参考スコア（独自算出の注目度）: 66.08871753377055
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating high-quality, in-depth textual documents, such as academic papers, news articles, Wikipedia entries, and books, remains a significant challenge for Large Language Models (LLMs). In this paper, we propose to use planning to generate long form content. To achieve our goal, we generate intermediate steps via an auxiliary task that teaches the LLM to plan, reason and structure before generating the final text. Our main novelty lies in a single auxiliary task that does not require multiple rounds of prompting or planning. To overcome the scarcity of training data for these intermediate steps, we leverage LLMs to generate synthetic intermediate writing data such as outlines, key information and summaries from existing full articles. Our experiments demonstrate on two datasets from different domains, namely the scientific news dataset SciNews and Wikipedia datasets in KILT-Wiki and FreshWiki, that LLMs fine-tuned with the auxiliary task generate higher quality documents. We observed +2.5% improvement in ROUGE-Lsum, and a strong 3.60 overall win/loss ratio via human SxS evaluation, with clear wins in organization, relevance, and verifiability.
• Abstract（参考訳）: 学術論文、ニュース記事、ウィキペディアのエントリ、書籍など、高品質で詳細なテキスト文書を生成することは、Large Language Models (LLMs) にとって重要な課題である。 本稿では,長文コンテンツを生成するための計画手法を提案する。 目的を達成するために、最終テキストを生成する前にLCMに計画、理性、構造を教える補助タスクを介して中間ステップを生成する。 私たちの主な新規性は、複数のプロンプトや計画のラウンドを必要としない単一の補助的なタスクにあります。 これらの中間段階のトレーニングデータの不足を克服するため,既存の全記事からアウトライン,キー情報,要約などの合成中間記述データを生成するためにLCMを利用する。 我々の実験は、科学ニュースデータセットSciNews とウィキペディアデータセットKILT-Wiki とFreshWiki の2つの分野のデータセットについて、補助的なタスクで微調整された LLM が高品質な文書を生成することを実証した。 ROUGE-Lsumは+2.5%改善し,ヒトSxS評価による総合勝敗率は3.60倍となり,組織,妥当性,妥当性が明らかとなった。

関連論文リスト

• LLM$\times$MapReduce: Simplified Long-Sequence Processing using Large Language Models [73.13933847198395]
  本稿では,文書理解を包括的に行うための分割・対数戦略を利用して,長文処理のための学習自由フレームワークを提案する。 提案された LLM$times$MapReduce フレームワークは、ドキュメント全体を LLM が読み取るためにいくつかのチャンクに分割し、中間回答を集約して最終的な出力を生成する。
  論文  参考訳（メタデータ） (2024-10-12T03:13:44Z)
• Scaling Up Summarization: Leveraging Large Language Models for Long Text Extractive Summarization [0.27624021966289597]
  本稿では,Large Language Models (LLM) を利用した抽出要約フレームワークであるEYEGLAXSを紹介する。 EYEGLAXSは、事実的および文法的整合性を保証するために抽出的な要約に焦点を当てている。 このシステムはPubMedやArXivといった有名なデータセットに新しいパフォーマンスベンチマークを設定する。
  論文  参考訳（メタデータ） (2024-08-28T13:52:19Z)
• Scalable and Domain-General Abstractive Proposition Segmentation [20.532804009152255]
  我々は、抽象命題セグメンテーション(APS)の課題に焦点を合わせ、テキストを単純で自己完結した、よく表現された文に変換する。 まず、タスクの評価基準を導入し、いくつかの品質の次元を計測する。 次に、スケーラブルで正確な命題セグメンテーションモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-28T10:24:31Z)
• The Power of Summary-Source Alignments [62.76959473193149]
  多文書要約(MDS)は難しい課題であり、しばしばサリエンスと冗長性検出のサブタスクに分解される。 参照要約とそのソース文書間の対応する文のアライメントを利用して、トレーニングデータを生成する。 本稿では,よりきめ細かな提案スパンレベルで適用することで,要約ソースアライメントフレームワークを拡張することを提案する。
  論文  参考訳（メタデータ） (2024-06-02T19:35:19Z)
• Text-Tuple-Table: Towards Information Integration in Text-to-Table Generation via Global Tuple Extraction [36.915250638481986]
  リアルタイムのコメンタリーテキストに基づいたコンペの要約表を生成するためのベンチマークデータセットであるLiveSumを紹介する。 我々は,このタスクにおける最先端の大規模言語モデルの性能を,微調整とゼロショットの両方で評価する。 さらに、パフォーマンスを改善するために、$T3$(Text-Tuple-Table)と呼ばれる新しいパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:31:28Z)
• Consistency Guided Knowledge Retrieval and Denoising in LLMs for Zero-shot Document-level Relation Triplet Extraction [43.50683283748675]
  文書レベルの関係トリプルト抽出(DocRTE)は、文書から意味的関係を持つエンティティを同時に抽出することを目的とした情報システムの基本課題である。 既存の手法は、かなりの量の完全なラベル付きデータに依存している。 ChatGPTやLLaMAのような最近の先進言語モデル(LLM)は、素晴らしい長文生成能力を示している。
  論文  参考訳（メタデータ） (2024-01-24T17:04:28Z)
• Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
  大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。 本稿では、そのような統合を2つの主要なカテゴリに分岐する。
  論文  参考訳（メタデータ） (2023-10-09T07:59:34Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• Element-aware Summarization with Large Language Models: Expert-aligned Evaluation and Chain-of-Thought Method [35.181659789684545]
  自動要約は、ソースドキュメントのキーアイデアを含む簡潔な要約を生成する。 CNN/DailyMailやBBC XSumからの引用は、主に幻覚と情報冗長性の点で騒々しい。 本稿では,LCMを段階的に生成するためにSumCoT(Slide Chain-of-Thought)手法を提案する。 実験結果から, ROUGE-L では, 最先端の微調整 PLM とゼロショット LLM を+4.33/+4.77 で上回った。
  論文  参考訳（メタデータ） (2023-05-22T18:54:35Z)
• Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
  我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。 自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。 我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
  論文  参考訳（メタデータ） (2020-10-03T03:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。