論文の概要: CML-Bench: A Framework for Evaluating and Enhancing LLM-Powered Movie Scripts Generation

• arxiv url: http://arxiv.org/abs/2510.06231v1
• Date: Wed, 01 Oct 2025 08:03:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.036427
• Title: CML-Bench: A Framework for Evaluating and Enhancing LLM-Powered Movie Scripts Generation
• Title（参考訳）: CML-Bench: LLMによる映画スクリプト生成の評価と改善のためのフレームワーク
• Authors: Mingzhe Zheng, Dingjie Song, Guanyu Zhou, Jun You, Jiahao Zhan, Xuran Ma, Xinyuan Song, Ser-Nam Lim, Qifeng Chen, Harry Yang,
• Abstract要約: 対話コヒーレンス(DC)、キャラクタ一貫性(CC)、Plot Reasonableness(PR)にまたがる定量的メトリクスを特徴とするCML-Benchを提案する。 CML-Benchは、熟練した人書きのスクリプトに効果的に高いスコアを割り当てる。 ベンチマークをさらに検証するために,文字対話とイベントロジックに関する詳細な指示を取り入れたプロンプト戦略であるCML-Instructionを導入する。
• 参考スコア（独自算出の注目度）: 66.24195604846103
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable proficiency in generating highly structured texts. However, while exhibiting a high degree of structural organization, movie scripts demand an additional layer of nuanced storytelling and emotional depth-the 'soul' of compelling cinema-that LLMs often fail to capture. To investigate this deficiency, we first curated CML-Dataset, a dataset comprising (summary, content) pairs for Cinematic Markup Language (CML), where 'content' consists of segments from esteemed, high-quality movie scripts and 'summary' is a concise description of the content. Through an in-depth analysis of the intrinsic multi-shot continuity and narrative structures within these authentic scripts, we identified three pivotal dimensions for quality assessment: Dialogue Coherence (DC), Character Consistency (CC), and Plot Reasonableness (PR). Informed by these findings, we propose the CML-Bench, featuring quantitative metrics across these dimensions. CML-Bench effectively assigns high scores to well-crafted, human-written scripts while concurrently pinpointing the weaknesses in screenplays generated by LLMs. To further validate our benchmark, we introduce CML-Instruction, a prompting strategy with detailed instructions on character dialogue and event logic, to guide LLMs to generate more structured and cinematically sound scripts. Extensive experiments validate the effectiveness of our benchmark and demonstrate that LLMs guided by CML-Instruction generate higher-quality screenplays, with results aligned with human preferences.
• Abstract（参考訳）: 大規模言語モデル (LLM) は高度に構造化されたテキストを生成するのに顕著な能力を示した。 しかし、高い構造構造を誇示する一方で、映画脚本は微妙なストーリーテリングと感情的な深さの付加層を必要とする。 この欠陥を調査するために,まずCML-DatasetというCinematic Markup Language (CML) のペアからなるデータセットをキュレートした。 これらの本文中の本質的なマルチショット連続性と物語構造を詳細に分析することにより,対話コヒーレンス(DC),キャラクタ一貫性(CC),Plot Reasonableness(PR)という,品質評価の3つの重要な要素を同定した。 これらの知見からCML-Benchを提案する。 CML-Benchは、LLMが生成するスクリーンプレイの弱点を同時に特定しながら、十分に製作された人手書きのスクリプトに高いスコアを割り当てる。 CML-Instructionは文字対話とイベントロジックの詳細な説明によるプロンプト戦略であり、LCMを誘導してより構造化され、映画的な音声スクリプトを生成する。 CML-Instruction で指導された LLM が高品質なスクリーンプレイを生成し,その結果が人間の嗜好に合致することを示した。

関連論文リスト

• NexusSum: Hierarchical LLM Agents for Long-Form Narrative Summarization [0.0]
  物語要約のための多エージェントLLMフレームワークであるNexusSumを紹介する。 物語固有の事前処理方法は、文字対話と記述テキストを統一されたフォーマットに標準化する。 本手法は物語要約における新たな最先端技術を確立し,書籍,映画,テレビ脚本間でBERTScore(F1)を最大30.0%向上させる。
  論文  参考訳（メタデータ） (2025-05-30T13:26:23Z)
• Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage [50.84150600032693]
  MLLM(Multimodal large language model)は、非常に詳細なキャプションを生成するのに優れるが、幻覚を引き起こすことが多い。 我々は,LLM-MLLM協調を利用して与えられたキャプションを補正するマルチエージェント手法を提案する。 提案手法は, キャプションの精度を向上し, GPT-4Vによるキャプションの精度を向上する。
  論文  参考訳（メタデータ） (2024-12-20T01:37:22Z)
• SEED-Bench-2-Plus: Benchmarking Multimodal Large Language Models with Text-Rich Visual Comprehension [62.40482764691584]
  MLLMのテキストに富んだ視覚的理解を評価するためのベンチマークSEED-Bench-2-Plusを紹介する。 私たちのベンチマークでは、チャート、マップ、ウェブの3つのカテゴリにまたがる、正確な人間のアノテーションによる2.3Kの多重選択質問で構成されています。 我々は,34の著名なMLLMを包含する徹底的な評価を行い,テキストリッチ視覚理解におけるMLLMの現在の限界を強調した。
  論文  参考訳（メタデータ） (2024-04-25T17:39:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。