論文の概要: Can LLM Agents Stick to the Script? A Benchmark for Long-Horizon Consistency in Interactive Narratives
- arxiv url: http://arxiv.org/abs/2608.08160v1
- Date: Sat, 08 Aug 2026 14:38:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.70544
- Title: Can LLM Agents Stick to the Script? A Benchmark for Long-Horizon Consistency in Interactive Narratives
- Title（参考訳）: LLMエージェントはスクリプトに固執できるか?対話型物語における長軸一貫性のベンチマーク
- Abstract要約: 大規模言語モデル(LLM)は、オープンエンドで流動的なインタラクティブなストーリーテリングを可能にすることで、ゲームのAIに革命をもたらしている。
本稿では,制約のないユーザ介入に対する論理的一貫性と物語的整合性を維持するという課題に対処する。
NCP-Benchは、映画シンプスから派生した100の物語環境のベンチマークである。
- 参考スコア（独自算出の注目度）: 40.162944870563315
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid advancement of Large Language Models (LLMs) is revolutionizing AI for Games by enabling open-ended and fluid interactive storytelling. However, existing research has largely overlooked the critical challenge of maintaining long-horizon logical consistency and narrative integrity against unconstrained user interventions. To address this, we formulate this challenge as Narrative Commitment Preservation (NCP), and take interactive narrative as our testbed. We introduce NCP-Bench, a benchmark of 100 narrative environments derived from movie synopses. Each environment includes a structured narrative specification (trajectory, commitments, and initial facts) that we can automatically check throughout the interaction between the player agent and the narrator agent. Experiments across state-of-the-art LLMs reveal a substantial long-horizon consistency gap: high linguistic quality does not guarantee commitment preservation; even strong models frequently generate logically conflicting content under adversarial interventions, with the best-performing model (GPT-5.2) achieving only 42% survival rate after 20 turns and fact conflict rates ranging from 40% to 68% across models, and only isolated runs satisfying all achievement commitments within the 100-turn limit.
- Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩は、オープンエンドで流動的なインタラクティブなストーリーテリングを可能にすることで、ゲームのためのAIに革命をもたらしている。
しかし、既存の研究は、長期の論理的一貫性と、制約のないユーザー介入に対する物語的整合性を維持するという重要な課題を概ね見落としている。
そこで我々は,この課題をNalrative Commitment Preservation (NCP) として定式化し,インタラクティブな物語をテストベッドとして捉えた。
NCP-Benchは、映画シンプスから派生した100の物語環境のベンチマークである。
各環境には構造化された物語仕様(軌道、コミットメント、初期事実)が含まれており、プレイヤーエージェントとナレーターエージェント間のインタラクションを通じて自動的にチェックできる。
高い言語的品質はコミットメントの維持を保証しない 強力なモデルでさえ、敵対的介入の下で論理的に矛盾するコンテンツを頻繁に生成し、最高のパフォーマンスモデル(GPT-5.2)は20回目以降の生存率を42%、実際の衝突率はモデル全体で40%から68%、そして100回目の範囲内のすべての達成コミットメントを満たすのは孤立した実行のみである。
関連論文リスト
- From Personas to Plot: Character-Grounded Multi-Agent Story Generation for Long-Form Narratives [3.0130431031064613]
長文の物語生成と検証のための統一的な枠組みを導入する。
本稿では,本フレームワークが単一モデルプロンプトやIBSENと比較してコヒーレントな物語を生成することを示す。
これらの結果から, 長期の物語は, 明示的な世界状態追跡と目標駆動型マルチエージェント生成から生まれる可能性が示唆された。
論文 参考訳（メタデータ） (2026-07-01T13:23:07Z) - MINDGAMES: A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs [54.81359054218573]
大規模言語モデル(LLM)のためのマルチゲームアリーナと評価プラットフォームであるMindgamesを紹介する。
Mindgamesは、統合されたインタラクションインターフェース、TrueSkillベースの評価、および4つのゲーム環境にわたる完全な軌跡ログを提供する。
我々は,決定論的オフライントーナメントプロトコルMG-Refとともに,ターンレベルの観察,アクション,報酬を含む29,571個のマルチエージェントゲームを分析した。
論文 参考訳（メタデータ） (2026-05-28T07:33:47Z) - NARRA-Gym for Evaluating Interactive Narrative Agents [69.49891044929372]
NARRA-Gymは,まばらな感情的シードを完全なインタラクティブな物語のエピソードに変換する評価環境である。
我々は,8つのベンチマークペルソナに対して制御されたLLM-as-judgeスイープと,参加者がカスタマイズされたモデル出力を評価できる人的評価を用いて,9つのフロンティアLLMを評価する。
論文 参考訳（メタデータ） (2026-05-08T21:36:23Z) - Lost in Stories: Consistency Bugs in Long Story Generation by LLMs [21.241285394393632]
ConStory-Benchは、長めのストーリー生成における物語の一貫性を評価するために設計されたベンチマークである。
4つのタスクシナリオに2,000のプロンプトが含まれ、19のきめ細かいサブタイプを持つ5つのエラーカテゴリの分類を定義する。
また,矛盾を検出する自動パイプラインであるConStory-Checkerを開発した。
論文 参考訳（メタデータ） (2026-03-06T04:16:46Z) - Implicit Intelligence -- Evaluating Agents on What Users Don't Say [0.3580891736370874]
Implicit Intelligence(インプリシットインテリジェンス)は、AIエージェントがプロンプトフォローを超えて真のゴールフルフィルダーになるかどうかをテストするフレームワークである。
我々のシナリオは、ユーザ要求における明らかな単純さ、正しいソリューションにおける隠れた複雑さ、環境探索による制約の発見性である。
論文 参考訳（メタデータ） (2026-02-23T23:46:55Z) - NarraScore: Bridging Visual Narrative and Musical Dynamics via Hierarchical Affective Control [59.6128550986024]
ナラスコア(NarraScore)は、感情が物語論理の高密度圧縮として働くという中心的な洞察に基づく階層的なフレームワークである。
NarraScoreは、グローバルな構造とローカルなダイナミズムを調和させるために、Dual-Branch Injection戦略を採用している。
NarraScoreは、無視可能な計算オーバーヘッドを伴う最先端の一貫性と物語のアライメントを実現している。
論文 参考訳（メタデータ） (2026-02-09T09:39:42Z) - Living the Novel: A System for Generating Self-Training Timeline-Aware Conversational Agents from Novels [50.43968216132018]
文芸作品が没入的で多文字の会話体験に変換されるエンド・ツー・エンドシステムを提案する。
このシステムはLLM駆動文字の2つの基本的な課題を解決するために設計されている。
論文 参考訳（メタデータ） (2025-12-08T11:57:46Z) - WhatELSE: Shaping Narrative Spaces at Configurable Level of Abstraction for AI-bridged Interactive Storytelling [11.210282687859534]
WhatELSEはAIでブリッジされたINオーサリングシステムで、例題から物語可能性空間を生成する。
我々は,WhatELSEによって著者が物語空間を知覚し,編集し,プレイ時に対話的な物語を生成することができることを示す。
論文 参考訳（メタデータ） (2025-02-25T21:02:15Z) - Evaluating Very Long-Term Conversational Memory of LLM Agents [95.84027826745609]
我々は,高品質で長期的な対話を生成するための,マシン・ヒューマン・パイプラインを導入する。
我々は、各エージェントに画像の共有と反応の能力を持たせる。
生成した会話は、長距離一貫性のために人間のアノテーションによって検証され、編集される。
論文 参考訳（メタデータ） (2024-02-27T18:42:31Z) - Cooperation, Competition, and Maliciousness: LLM-Stakeholders Interactive Negotiation [52.930183136111864]
我々は,大言語モデル(LLM)を評価するためにスコーラブルネゴシエーション(scorable negotiations)を提案する。
合意に達するには、エージェントは強力な算術、推論、探索、計画能力を持つ必要がある。
我々は、新しいゲームを作成し、進化するベンチマークを持つことの難しさを増大させる手順を提供する。
論文 参考訳（メタデータ） (2023-09-29T13:33:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。