論文の概要: IS-CoT: Breaking the Long-form Generation Collapse via Interleaved Structural Thinking

• arxiv url: http://arxiv.org/abs/2606.09709v1
• Date: Mon, 08 Jun 2026 16:31:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:07.560536
• Title: IS-CoT: Breaking the Long-form Generation Collapse via Interleaved Structural Thinking
• Title（参考訳）: IS-CoT: インターリーブ構造思考による長大な世代崩壊を打破する
• Authors: Zechen Sun, Yuyang Sun, Zecheng Tang, Juntao Li, Wenpeng Hu, Wenliang Chen, Zhunchen Luo, Guotong Geng, Min Zhang,
• Abstract要約: 本稿では,Interleaved Structure Chain-of-Thought (IS-CoT) フレームワークを紹介する。 IS-CoTは動的Plan-Write-Reflectサイクルを生成プロセスに埋め込む。 我々は、多教師パイプラインを介して、インターリーブされた推論トレースの高品質なデータセットを構築し、IS-Writer-8Bを訓練する。
• 参考スコア（独自算出の注目度）: 50.381430711141995
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Generating coherent and controllable long-form content remains a persistent challenge for Large Language Models (LLMs). While reasoning-enhanced models have demonstrated success in logic-intensive domains, our evaluation reveals that they suffer from a severe length collapse in open-ended writing, where performance degrades sharply as target lengths exceed 2,000 words. We attribute this failure to the limitation of static hierarchical planning, which struggles to provide dynamic guidance over extended contexts. To bridge this gap, we introduce the Interleaved Structural Chain-of-Thought (IS-CoT) framework. Unlike external agentic workflows, IS-CoT embeds a dynamic Plan-Write-Reflect cycle into the generation process, enabling continuous strategy adaptation and global alignment without additional assistance. Based on this framework, we construct a high-quality dataset of interleaved reasoning traces via a multi-teacher pipeline and train IS-Writer-8B. Experiments demonstrate that IS-Writer-8B achieves state-of-the-art performance on challenging long-form benchmarks (e.g., +3.08 vs. DeepSeek-V3.2 on LongBench-Write), exhibiting robust length compliance and coherence competitive with significantly larger proprietary models.
• Abstract（参考訳）: コヒーレントで制御可能な長文コンテンツを生成することは、Large Language Models (LLMs) にとって永続的な課題である。 論理集約的領域では推論強化モデルが成功しているが,本評価では,目標長が2000語を超えるほど,性能が急激に低下するオープンエンド書き込みにおいて,深刻な長さの崩壊に苦しむことが明らかとなった。 この失敗は、拡張コンテキストに対する動的ガイダンスの提供に苦慮している静的階層的計画の限界に起因する。 このギャップを埋めるために、Interleaved Structure Chain-of-Thought(IS-CoT)フレームワークを導入します。 外部エージェントワークフローとは異なり、IS-CoTは動的Plan-Write-Reflectサイクルを生成プロセスに組み込んで、継続的な戦略適応とグローバルアライメントを追加の助けなしに実現している。 本フレームワークをベースとして,多教師パイプラインによるインターリーブド推論トレースの高品質データセットを構築し,IS-Writer-8Bを訓練する。 実験の結果、IS-Writer-8Bは挑戦的なロングフォームベンチマーク(例えば、+3.08対LongBench-WriteのDeepSeek-V3.2)で最先端のパフォーマンスを達成し、より大規模なプロプライエタリモデルと競合する堅牢な長さのコンプライアンスとコヒーレンスを示した。

関連論文リスト

• Dystruct: Dynamically Structured Diffusion Language Model Decoding via Bayesian Inference [51.12849550784653]
  拡散言語モデル (DLM) は自己回帰モデルに代わる有望な代替品として登場した。 ほとんどの既存のDLMはデコードに先立って指定された固定生成長に依存しており、現実世界のアプリケーションでは柔軟性が制限されている。 本稿では,動的構造推論問題としてフレキシブル長生成を定式化する,非学習型ベイズ構造復号化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-10T23:51:14Z)
• Short Chains, Deep Thoughts: Balancing Reasoning Efficiency and Intra-Segment Capability via Split-Merge Optimization [68.89915707647138]
  大規模推論モデル(LRM)は、長い推論連鎖の生成を通じて複雑なタスクを解く際、印象的な能力を示した。 textbfCoSMo(textbfSplit-textbfMerge textbfOptimization)を提案する。
  論文  参考訳（メタデータ） (2026-02-03T05:54:28Z)
• Beyond Fixed: Training-Free Variable-Length Denoising for Diffusion Large Language Models [74.15250326312179]
  拡散大言語モデルは効率的な並列生成とグローバルモデリングを提供する。 DLLMの主流の応用は、静的に事前定義された生成長の必要性によって妨げられている。 DAEDALは,動的適応長拡張を可能にする新しい学習自由化戦略である。
  論文  参考訳（メタデータ） (2025-08-01T17:56:07Z)
• Long-Short Alignment for Effective Long-Context Modeling in LLMs [32.13785291956956]
  大きな言語モデル(LLM)は、驚くべきパフォーマンスと驚くべき創発的な特性を示しています。 長さの一般化 -- トレーニング中に見られるものよりも長いシーケンスに一般化する能力 -- は、古典的で基本的な問題である。 textbflong-shortアライメント -- 長さの異なるシーケンス間の出力分布の一貫性 -- の重要な役割を強調します。
  論文  参考訳（メタデータ） (2025-06-13T13:25:39Z)
• SuperWriter: Reflection-Driven Long-Form Generation with Large Language Models [34.723917246316205]
  SuperWriter-Agentは、長文生成の品質と一貫性を高めるために設計されたフレームワークである。 この枠組みに基づき、7B SuperWriter-LMをトレーニングするための教師付き微調整データセットを構築した。 様々なベンチマークで実証された結果は、SuperWriter-LMが最先端のパフォーマンスを実現していることを示している。
  論文  参考訳（メタデータ） (2025-06-04T17:27:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。