論文の概要: The Effects of Incremental Instruction Delivery on Language-Model Creative Writing

• arxiv url: http://arxiv.org/abs/2609.33738v1
• Date: Sun, 27 Sep 2026 16:39:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 17:12:58.696551
• Title: The Effects of Incremental Instruction Delivery on Language-Model Creative Writing
• Title（参考訳）: インクリメンタル・インストラクション・デリバリーが言語モデル創作に及ぼす影響
• Abstract要約: インクリメンタルなインタラクションは、明示的な要求チェックがキャプチャできない方法で、創造的なアーティファクトに影響を与えます。 我々はCreative Integrityを,共同執着と物語構造のコンパクトな尺度として定義する。 50組以上のマッチングされたペアの3光線による研究は、構造/コヒーレンス、工芸、ジャンルの効率性において、FULLの利点を独立に回復させる。
• 参考スコア（独自算出の注目度）: 0.09332987715848712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are increasingly used as interactive writing tools, where users develop stories, revise ideas, and introduce new requirements across multiple turns rather than specifying a complete brief upfront. Yet most evidence on multi-turn instruction degradation comes from tasks with objectively verifiable outcomes, leaving unclear whether incremental interaction harms creative artifacts in ways that explicit requirement checks cannot capture. We study this question using 160 human-authored creative-writing tasks across six genres, presenting each intended specification either upfront or progressively over 5-9 turns to six distinct open-weight model families, yielding 960 matched pairs. Progressive delivery reduces explicit constraint adherence and produces its largest writing-quality degradation in structure/coherence. The structural gap persists among outputs with equal observed adherence, suggesting that measured requirement loss alone does not explain the observed structural difference. We define Creative Integrity as a compact measure of joint adherence and narrative structure; under incremental delivery, models retain 71.2% of FULL Creative Integrity (95% CI [68.2%, 74.3%]). A three-rater human study over 50 matched pairs independently recovers FULL advantages in structure/coherence, craft, and genre effectiveness, while automated scores remain positively associated with aggregated human ratings. These findings show that interactive creative-writing systems should be evaluated not only on whether requirements survive conversation, but also on whether evolving requirements remain coherently integrated into the final artifact. Our dataset, benchmarks, and source code are available at: https://github.com/solusops/SISTER-2026-Team19
• Abstract（参考訳）: 大規模言語モデルは、ユーザーがストーリーを開発し、アイデアを修正し、複数のターンにまたがって新しい要件を導入し、完全なブリーフィングを前もって指定する、インタラクティブな記述ツールとしてますます使われている。 しかし、マルチターン命令の劣化に関するほとんどの証拠は、客観的に検証された結果を持つタスクから来ており、インクリメンタルな相互作用が、明示的な要求チェックが達成できない方法で創造的な成果物に害を与えるかどうかがはっきりしないままである。 我々は、6つのジャンルにまたがる160の人間によるクリエイティブ・ライティング・タスクを用いてこの質問を研究し、各仕様を前向きか5-9以上の段階的に6つの異なるオープン・ウェイトモデルファミリに変換し、960のマッチングペアを生成する。 プログレッシブ・デリバリは明示的な制約の遵守を減らし、構造/コヒーレンスにおける最大の書き込み品質の劣化を生み出す。 構造的ギャップは同等に観察される出力間で持続し、測定された要求損失だけでは観察された構造的差異を説明できないことを示唆している。 本稿では,創造的統合性(Creative Integrity)を,共同執着と物語構造のコンパクトな尺度として定義する。段階的デリバリでは,FULL創造的統合(95% CI [68.2%,74.3%])の71.2%をモデルとして保持する。 50組以上のマッチングされたペアによる3レーターの人間による研究は、構造/コヒーレンス、工芸、ジャンルの効率性において、FULLの利点を独立に回復させる一方、自動スコアは、集計された人間の評価と肯定的に関連している。 これらの結果は,要求が会話を継続するか否かだけでなく,進化する要求が最終成果物に整合的に統合されているかどうかについても,インタラクティブな創造的書き起こしシステムを評価する必要があることを示唆している。 私たちのデータセット、ベンチマーク、ソースコードは、https://github.com/solusops/SISTER-2026-Team19で利用可能です。

関連論文リスト

• Beyond the Name: Demographic Leakage in De-Identified Résumés and Evaluation Artifacts in LLM Bias Audits [4.736836688901646]
  本研究では,9つのオープンウェイトモデルと620レサムモデルにおいて,言語フィールドの除去がリークを解消するか否かを検討する。 5つの民族的条件と3つのクエー・サリエンス層にまたがる非構造的散文を分離した。 目標グループの回復平均は0.757であり、高塩分下では1.000で飽和する。
  論文  参考訳（メタデータ） (2026-09-15T01:48:44Z)
• Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
  既存のベンチマークは、主に質問レベルで質問をキュレートする。 ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
  論文  参考訳（メタデータ） (2025-12-31T13:55:54Z)
• COIG-Writer: A High-Quality Dataset for Chinese Creative Writing with Thought Processes [83.84578306665976]
  大規模な言語モデルは、創造的な文章、特に非英語の文脈において体系的な欠陥を示す。 提案するCOIG-Writerは,多種多様なアウトプットと,その基盤となる思考プロセスの両方をキャプチャする,中国のクリエイティブな文章データセットである。
  論文  参考訳（メタデータ） (2025-10-16T15:01:19Z)
• RealUnify: Do Unified Models Truly Benefit from Unification? A Comprehensive Benchmark [71.3555284685426]
  本稿では,双方向機能相乗効果を評価するためのベンチマークであるRealUnifyを紹介する。 RealUnifyは、10のカテゴリと32のサブタスクにまたがる、細心の注意を払ってアノテートされた1000のインスタンスで構成されている。 現在の統一モデルは、効果的な相乗効果を達成するのに依然として苦労しており、アーキテクチャの統一だけでは不十分であることを示している。
  論文  参考訳（メタデータ） (2025-09-29T15:07:28Z)
• The Geometry of Creative Variability: How Credal Sets Expose Calibration Gaps in Language Models [5.57190556615623]
  本稿では,ニューラルテキスト生成における不確実性を定量化し,分解するための幾何学的枠組みを提案する。 私たちは、500のクリエイティブな文章のプロンプトを10の調整された人間の継続で分析し、10万のストーリーを生成します。 我々のクレダルセット分析では、人間の創造性の変化を捉え、最良のモデルと人間のキャリブレーションはわずか0.434に達する。
  論文  参考訳（メタデータ） (2025-09-27T03:52:03Z)
• Structured Cognitive Loop for Behavioral Intelligence in Large Language Model Agents [0.0]
  既存のフレームワークは認知、記憶、制御をひとつのプロンプトで混ぜることが多く、一貫性と予測可能性を減らす。 構造化認知ループ (Structured Cognitive Loop, SCL) は、これらの機能を分離する代替アーキテクチャとして提案されている。 SCLの平均タスク成功率は86.3%であり、ベースラインは70.5から76.8%である。
  論文  参考訳（メタデータ） (2025-09-23T17:43:17Z)
• OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
  OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。 我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。 我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
  論文  参考訳（メタデータ） (2025-08-07T17:54:15Z)
• Modeling and Visualization Reasoning for Stakeholders in Education and Industry Integration Systems: Research on Structured Synthetic Dialogue Data Generation Based on NIST Standards [3.5516803380598074]
  本研究では,教育産業統合(EII)システムにおける利害関係者の相互作用の構造的複雑さと意味的あいまいさに対処する。 我々は,NIST(National Institute of Standards and Technology)合成データ品質フレームワークに基づく構造モデリングパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-06-20T12:37:43Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。