論文の概要: When Stories Evolve: Benchmarking LLM Storytelling Across Agent Architectures in Open-Ended World Simulations

• arxiv url: http://arxiv.org/abs/2608.15654v1
• Date: Sun, 16 Aug 2026 09:46:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.377014
• Title: When Stories Evolve: Benchmarking LLM Storytelling Across Agent Architectures in Open-Ended World Simulations
• Title（参考訳）: オープンエンド世界シミュレーションにおけるエージェントアーキテクチャ間のLCMストーリーテリングのベンチマーク
• Abstract要約: 本稿では,持続的生成,標準コヒーレンス,有意義な開発を評価するプロセスベンチマークであるWSE-benchを紹介する。 持続的生成,正準コヒーレンス,有意義な発達は相違し,時には競合する能力を示す。
• 参考スコア（独自算出の注目度）: 7.618335778671363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models can write fluent stories, but open-ended storytelling requires more than local fluency. In evolving world simulations and AI-native games, models must preserve facts, relationships, causal dependencies, and character states as the world changes. We introduce WSE-bench, a process benchmark that separately evaluates sustained generation, canonical coherence, and meaningful development in dynamic LLM storytelling. Generation Coverage records the proportion of planned narrative steps produced; Consistency tracks when canon breaks; and Richness measures how meaningfully branching, player-shaped trajectories develop. Across frontier models, Consistency and Richness do not form a smooth trade-off: their empirical Pareto frontier is non-concave, with several non-dominated intermediate configurations that no positive linear weighting can select. Added structure can enrich trajectories, but it does not uniformly improve coherence and may shorten them. Model scale chiefly improves sustained generation, without producing reliable gains in canonical coherence or meaningful development. These results show that sustained generation, canonical coherence, and meaningful development are distinct and sometimes competing capacities. WSE-bench makes those dynamics visible by extending narrative evaluation from finished stories to the processes that create them.
• Abstract（参考訳）: 大規模な言語モデルでは、流動的なストーリーを書くことができるが、オープンエンドのストーリーテリングは、局所的な流布以上のものを必要としている。 進化する世界シミュレーションとAIネイティブゲームでは、世界が変化するにつれて、モデルは事実、関係、因果関係、およびキャラクタ状態を保存する必要がある。 我々は、持続的生成、正準コヒーレンス、動的LLMストーリーテリングにおける有意義な開発を別々に評価するプロセスベンチマークであるWSE-benchを紹介する。 ジェネレーション・カバレッジは、計画された物語のステップの比率を記録し、キャノンが壊れたときの一貫性をトラックし、リッチネスはプレイヤーの形をした軌道がいかに意味のある分岐を行うかを測定する。 その経験的パレートフロンティアは非凸であり、正の線形重み付けができないいくつかの非支配中間構成を持つ。 付加された構造は軌道を豊かにすることができるが、コヒーレンスを均一に改善せず、それらを短くすることができる。 モデルスケールは主に持続的生成を改善し、標準的コヒーレンスや有意義な開発において信頼性の高い利益を生み出す。 これらの結果から, 持続的生成, 正準コヒーレンス, 有意義な発達は相違し, 時には競合する能力を持つことが明らかとなった。 WSEベンチは、完成したストーリーからそれらを生成するプロセスへの物語評価を拡張することで、これらのダイナミクスを可視化する。

関連論文リスト

• Self-Evolving Spatial Reasoning in Vision Language Models via Geometric Logic Consistency [53.28076739140119]
  本稿では,視覚・言語モデル(VLM)における論理的一貫性を幾何学的・言語的双対性演算によって実現する枠組みを提案する。 SAGEは、従来のGRPO法に比べてモデルに依存しず、データ効率が良く、既存のVLMに軽量な後学習段階として適用することができる。 ビデオおよび空間推論ベンチマークの実験では、強いベースラインよりも一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-05-18T10:05:21Z)
• NARRA-Gym for Evaluating Interactive Narrative Agents [69.49891044929372]
  NARRA-Gymは,まばらな感情的シードを完全なインタラクティブな物語のエピソードに変換する評価環境である。 我々は,8つのベンチマークペルソナに対して制御されたLLM-as-judgeスイープと,参加者がカスタマイズされたモデル出力を評価できる人的評価を用いて,9つのフロンティアLLMを評価する。
  論文  参考訳（メタデータ） (2026-05-08T21:36:23Z)
• Continuous Latent Diffusion Language Model [48.974403879186916]
  大規模言語モデルは自己回帰パラダイムの下で顕著な成功を収めた。 既存の代替手段は、生成効率、スケーラブルな表現学習、効果的なグローバルセマンティックモデリングを共同で達成するのに依然として苦労している。 階層型情報分解によりテキスト生成をフレーム化する階層型潜在拡散言語モデルCola DLMを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:44:56Z)
• From World-Gen to Quest-Line: A Dependency-Driven Prompt Pipeline for Coherent RPG Generation [0.0]
  本稿では,手続き型RPGコンテンツ生成のための依存性対応多段階プロンプトパイプラインについて検討する。 世代はワールドビルディング、ノンプレイヤーキャラクター作成、プレイヤーキャラクター作成、キャンペーンレベルのクエスト計画、クエスト拡張の順に分解される。 論理的に健全で構造的に有効なRPGコンテンツを一貫して生成するが、複雑さが増すにつれて品質が低下することはない。
  論文  参考訳（メタデータ） (2026-04-28T10:39:17Z)
• Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams [78.9560820155271]
  我々は、ストリーミングよりもオンライン適応を評価し、知識を継続的に更新する。 OAKSはOAKS-BABIとOAKS-Novelの2つのデータセットから構成される。 最先端モデルとエージェントメモリシステムはどちらもOAKSにしっかりと適応できない。
  論文  参考訳（メタデータ） (2026-03-08T00:38:39Z)
• Experience Scaling: Post-Deployment Evolution For Large Language Models [44.48142891798125]
  大規模言語モデル(LLM)の継続的デプロイ後進化のためのフレームワークであるエクスペリエンススケーリングを提案する。 このフレームワークは,以前には見つからなかったが関連するタスク,繰り返しクエリ,過飽和知識ストアへの一般化を含む実世界のシナリオで検証される。 その結果、構造化されたデプロイ後学習は、静的な人間生成データの限界を超えてLLM能力を拡張できることを示した。
  論文  参考訳（メタデータ） (2025-09-23T08:04:58Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• Generating Coherent Narratives by Learning Dynamic and Discrete Entity States with a Contrastive Framework [68.1678127433077]
  我々はトランスフォーマーモデルを拡張して,物語生成のためのエンティティ状態更新と文実現を動的に行う。 2つのナラティブデータセットの実験により、我々のモデルは強いベースラインよりも一貫性があり多様なナラティブを生成できることが示された。
  論文  参考訳（メタデータ） (2022-08-08T09:02:19Z)
• COINS: Dynamically Generating COntextualized Inference Rules for Narrative Story Completion [16.676036625561057]
  我々は、文脈文を反復的に読み出し、文脈化された推論規則を生成し、それらを符号化し、タスク固有の出力生成をガイドするフレームワークであるCOINSを提案する。 繰り返しモデルで推論と文生成のステップをモジュール化することにより、推論のステップとその次の文生成に対する影響を透過的にすることを目指す。 自動的および手動的評価は、特にコヒーレンスの観点から、SOTAベースラインよりも優れたストーリー文を生成することを示す。
  論文  参考訳（メタデータ） (2021-06-04T14:06:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。