論文の概要: A Cognitive Writing Perspective for Constrained Long-Form Text Generation

• arxiv url: http://arxiv.org/abs/2502.12568v1
• Date: Tue, 18 Feb 2025 06:12:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:08:45.747383
• Title: A Cognitive Writing Perspective for Constrained Long-Form Text Generation
• Title（参考訳）: 制約付き長文テキスト生成のための認知的記述的視点
• Authors: Kaiyang Wan, Honglin Mu, Rui Hao, Haoran Luo, Tianle Gu, Xiuying Chen,
• Abstract要約: 大きな言語モデル(LLM)は、1回のパスで厳格な要求に従う高品質の長文を生成するのに苦労する。 認知の原則によって動機づけられた私たちは,CagWriterを通じて,人間のような認知書記能力を備えたLLMの実現を目指しています。 本フレームワークは,(1)タスクを分解する階層的計画を実行する計画エージェントと,(2)これらの計画を並列に実行する複数の生成エージェントの2つの主要なモジュールから構成される。
• 参考スコア（独自算出の注目度）: 12.444210620825382
• License:
• Abstract: Like humans, Large Language Models (LLMs) struggle to generate high-quality long-form text that adheres to strict requirements in a single pass. This challenge is unsurprising, as successful human writing, according to the Cognitive Writing Theory, is a complex cognitive process involving iterative planning, translating, reviewing, and monitoring. Motivated by these cognitive principles, we aim to equip LLMs with human-like cognitive writing capabilities through CogWriter, a novel training-free framework that transforms LLM constrained long-form text generation into a systematic cognitive writing paradigm. Our framework consists of two key modules: (1) a Planning Agent that performs hierarchical planning to decompose the task, and (2) multiple Generation Agents that execute these plans in parallel. The system maintains quality via continuous monitoring and reviewing mechanisms, which evaluate outputs against specified requirements and trigger necessary revisions. CogWriter demonstrates exceptional performance on LongGenBench, a benchmark for complex constrained long-form text generation. Even when using Qwen-2.5-14B as its backbone, CogWriter surpasses GPT-4o by 22% in complex instruction completion accuracy while reliably generating texts exceeding 10,000 words. We hope this cognitive science-inspired approach provides a paradigm for LLM writing advancements: \href{https://github.com/KaiyangWan/CogWriter}{CogWriter}.
• Abstract（参考訳）: 人間と同様に、LLM(Large Language Models)は、1回のパスで厳格な要求に従う高品質の長文を生成するのに苦労する。 認知的記述理論(Cognitive Writing Theory)によれば、この課題は、反復的な計画、翻訳、レビュー、監視を含む複雑な認知プロセスである。 本研究の目的は,LLMの制約された長文生成を体系的な認知書記パラダイムに変換する,新たな学習自由フレームワークであるCogWriterを通じて,LLMに人間的な認知書記能力を持たせることである。 本フレームワークは,(1)タスクを分解する階層的計画を実行する計画エージェントと,(2)これらの計画を並列に実行する複数の生成エージェントの2つの主要なモジュールから構成される。 システムは、継続的な監視とレビュー機構を通じて品質を維持し、特定の要求に対して出力を評価し、必要な修正をトリガーする。 CogWriterは、複雑な制約付き長文生成のベンチマークであるLongGenBench上で、例外的なパフォーマンスを示す。 Qwen-2.5-14B をバックボーンとして使用しても、CagWriter は GPT-4o を22%上回り、1万ワードを超えるテキストを確実に生成する。 私たちは、この認知科学に触発されたアプローチが、LSMの進歩のパラダイムを提供することを期待している。

関連論文リスト

• Controllable Text Generation for Large Language Models: A Survey [27.110528099257156]
  本稿では,大規模言語モデルにおける制御可能なテキスト生成の最近の進歩を体系的にレビューする。 我々はCTGタスクをコンテンツ制御と制御の2つの主要なタイプに分類する。 現在の研究における重要な課題には、流用率の低減や実用性といった課題に対処する。
  論文  参考訳（メタデータ） (2024-08-22T17:59:04Z)
• Automatic and Human-AI Interactive Text Generation [27.05024520190722]
  本チュートリアルは、最先端の自然言語生成研究の概要を提供する。 テキストからテキストへの生成タスクは、セマンティック一貫性とターゲット言語スタイルの観点からより制約される。
  論文  参考訳（メタデータ） (2023-10-05T20:26:15Z)
• Sequentially Controlled Text Generation [97.22539956688443]
  GPT-2は、驚くほど人間らしく、長い文書が混ざり合ったり、人間のような文章構造に従わなかったりする文を生成する。 本研究では,長距離テキストにおける命令構造の問題について検討する。 生成と編集が可能な逐次制御型テキスト生成パイプラインを開発した。
  論文  参考訳（メタデータ） (2023-01-05T21:23:51Z)
• MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text Generation [102.20036684996248]
  多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。 WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-16T17:36:23Z)
• PLANET: Dynamic Content Planning in Autoregressive Transformers for Long-form Text Generation [47.97523895218194]
  本稿では,自己回帰型自己認識機構を利用してコンテンツ計画と表面実現を動的に行う新しい生成フレームワークを提案する。 本フレームワークは,単語のバッグをベースとした文レベルのセマンティックプランを維持するために,トランスフォーマーデコーダを潜在表現で強化する。
  論文  参考訳（メタデータ） (2022-03-17T05:52:35Z)
• Long Text Generation by Modeling Sentence-Level and Discourse-Level Coherence [59.51720326054546]
  本稿では,デコード処理における文レベルと談話レベルにおけるプレフィックス文を表現可能な長文生成モデルを提案する。 我々のモデルは最先端のベースラインよりも一貫性のあるテキストを生成することができる。
  論文  参考訳（メタデータ） (2021-05-19T07:29:08Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation [92.7366819044397]
  自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。 本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。 広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
  論文  参考訳（メタデータ） (2020-04-14T06:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。