論文の概要: RPGBENCH: Evaluating Large Language Models as Role-Playing Game Engines

• arxiv url: http://arxiv.org/abs/2502.00595v1
• Date: Sat, 01 Feb 2025 23:40:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:04:42.587696
• Title: RPGBENCH: Evaluating Large Language Models as Role-Playing Game Engines
• Title（参考訳）: RPGBENCH:ロールプレイングゲームエンジンとしての大規模言語モデルの評価
• Authors: Pengfei Yu, Dongming Shen, Silin Meng, Jaewon Lee, Weisu Yin, Andrea Yaoyun Cui, Zhenlin Xu, Yi Zhu, Xingjian Shi, Mu Li, Alex Smola,
• Abstract要約: 本稿では,大言語モデル (LLM) をテキストベースのロールプレイングゲーム (RPG) エンジンとして評価するための最初のベンチマークであるRPGBenchを紹介する。 RPGBenchは、ゲーム作成(GC)とゲームシミュレーション(GS)の2つのコアタスクから構成される。
• 参考スコア（独自算出の注目度）: 34.002194150560086
• License:
• Abstract: We present RPGBench, the first benchmark designed to evaluate large language models (LLMs) as text-based role-playing game (RPG) engines. RPGBench comprises two core tasks: Game Creation (GC) and Game Simulation (GS). In GC, an LLM must craft a valid and playable RPG world using a structured event-state representation, ensuring logical coherence and proper termination conditions. In GS, the LLM simulates interactive gameplay across multiple rounds while consistently updating states and enforcing game rules. To comprehensively assess performance, RPGBench integrates objective and subjective evaluation methodologies. Objective measures verify adherence to event mechanics and check variable updates without requiring human intervention. Subjective measures, such as content interestingness, action quality, and role-playing capability, are evaluated via an LLM-as-a-judge framework, where a strong LLM grades each candidate's outputs. Empirical results demonstrate that state-of-the-art LLMs can produce engaging stories but often struggle to implement consistent, verifiable game mechanics, particularly in long or complex scenarios. By combining structured, rule-based assessments with LLM-based judgments, RPGBench provides a new standard for evaluating how well LLMs can balance creativity, coherence, and complexity in text-based RPGs, opening avenues for more immersive and controllable interactive storytelling.
• Abstract（参考訳）: 本稿では,大言語モデル (LLM) をテキストベースのロールプレイングゲーム (RPG) エンジンとして評価するための最初のベンチマークであるRPGBenchを紹介する。 RPGBench は Game Creation (GC) と Game Simulation (GS) の2つのコアタスクから構成される。 GCでは、LLMは構造化されたイベント状態表現を使用して、論理的コヒーレンスと適切な終了条件を保証し、有効なRPG世界を構築する必要がある。 GSでは、LLMは複数のラウンドでインタラクティブなゲームプレイをシミュレートし、状態を継続的に更新し、ゲームルールを強制する。 RPGBenchは、パフォーマンスを総合的に評価するために、客観的および主観的評価手法を統合する。 客観的尺度は、人間の介入を必要とせずに、イベントメカニックへの付着を検証し、変数更新をチェックする。 コンテンツ面白さ、行動品質、ロールプレイング能力などの主観的尺度は、LLM-as-a-judgeフレームワークを用いて評価される。 実証的な結果は、最先端のLLMがエンゲージメントなストーリーを生成できることを示しているが、特に長いシナリオや複雑なシナリオにおいて、一貫性のある検証可能なゲームメカニクスを実装するのに苦労することが多い。 構造化されたルールベースのアセスメントとLLMに基づく判断を組み合わせることで、RPGBenchは、テキストベースのRPGにおいてLLMが創造性、一貫性、複雑さのバランスをいかにうまく保てるかを評価するための新しい標準を提供し、より没入的で制御可能なインタラクティブなストーリーテリングのための道を開く。

関連論文リスト

• Beyond Outcomes: Transparent Assessment of LLM Reasoning in Games [54.49589494014147]
  GAMEBoTは、大規模言語モデルの厳格な評価のために設計されたゲームアリーナである。 我々は,8つのゲームにまたがる17の卓越したLSMをベンチマークし,様々な戦略能力とゲーム特性について検討した。 以上の結果から,LDMに詳細なCoTプロンプトが付与されている場合でも,GAMEBoTは大きな課題となることが示唆された。
  論文  参考訳（メタデータ） (2024-12-18T08:32:53Z)
• Evaluating Creativity and Deception in Large Language Models: A Simulation Framework for Multi-Agent Balderdash [6.65572931991284]
  大きな言語モデル(LLM)は複雑なタスクや対話的な環境において印象的な機能を示している。 本稿では, LLMの創造性と論理的推論の両面を評価するために, Balderdash を利用したシミュレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-15T18:42:48Z)
• TMGBench: A Systematic Game Benchmark for Evaluating Strategic Reasoning Abilities of LLMs [45.06415588947462]
  我々は,ゲームタイプの包括的カバレッジ,新しいシナリオ,柔軟な組織に関するベンチマークであるTMGBenchを提案する。 具体的には、古典ゲームとして構築された2x2ゲームのロビンソン・ゴーフォース位相によって要約された144種類のゲームタイプをすべて組み込む。 トピックガイダンスやヒューマンインスペクションを通じて、多種多様な高品質なシナリオを作成するために、合成データ生成も採用しています。
  論文  参考訳（メタデータ） (2024-10-14T13:15:34Z)
• GTBench: Uncovering the Strategic Reasoning Limitations of LLMs via Game-Theoretic Evaluations [87.99872683336395]
  大規模言語モデル(LLM)は、重要な現実世界のアプリケーションに統合される。 本稿では,LLMの競合環境における推論能力について検討する。 まず,広く認識されている10のタスクを構成する言語駆動型環境であるGTBenchを提案する。
  論文  参考訳（メタデータ） (2024-02-19T18:23:36Z)
• Large Language Models are Superpositions of All Characters: Attaining Arbitrary Role-play via Self-Alignment [62.898963074989766]
  本稿では,ロールプレイのための自己アライメント手法であるDittoを紹介する。 この方法は4000文字からなるロールプレイトレーニングセットを生成し、現在利用可能なデータセットのスケールを10倍に超える。 本稿では,ロールプレイ領域におけるクロススーパービジョンアライメント実験について紹介する。
  論文  参考訳（メタデータ） (2024-01-23T03:56:22Z)
• Leveraging Word Guessing Games to Assess the Intelligence of Large Language Models [105.39236338147715]
  この論文は人気のある言語ゲーム『Who is Spy』にインスパイアされている。 本研究は,LEMの表現と変形能力を評価するためのDEEPを開発する。 次に、インタラクティブなマルチエージェントフレームワークであるSpyGameを紹介します。
  論文  参考訳（メタデータ） (2023-10-31T14:37:42Z)
• GameEval: Evaluating LLMs on Conversational Games [93.40433639746331]
  大規模言語モデル(LLM)を評価する新しいアプローチであるGameEvalを提案する。 GameEvalはLSMをゲームプレイヤーとして扱い、様々な形式の会話を起動することで達成した特定の目標にそれぞれ異なる役割を割り当てる。 我々は,GameEvalが様々なLLMの能力を効果的に差別化することができ,複雑な問題を解決するための統合能力を総合的に評価できることを示した。
  論文  参考訳（メタデータ） (2023-08-19T14:33:40Z)
• SPRING: Studying the Paper and Reasoning to Play Games [102.5587155284795]
  我々は,ゲーム本来の学術論文を読み取るための新しいアプローチ,SPRINGを提案し,大言語モデル(LLM)を通してゲームの説明とプレイの知識を利用する。 実験では,クラフトオープンワールド環境の設定下で,異なる形態のプロンプトによって引き起こされる文脈内「推論」の品質について検討した。 我々の実験は、LLMが一貫したチェーン・オブ・シークレットによって誘導されると、洗練された高レベル軌道の完成に大きな可能性があることを示唆している。
  論文  参考訳（メタデータ） (2023-05-24T18:14:35Z)
• Clembench: Using Game Play to Evaluate Chat-Optimized Language Models as Conversational Agents [20.202525145391093]
  近年の研究では,「言語理解エージェント」の体系的評価手法が提案されている。 制約のあるゲームライクな設定に公開することで、大規模言語モデルを有意義に評価できるだろうか? 概念実証として,現在のチャット最適化LDMがゲームプレイの指示に従うことができる範囲において,5つのインタラクション設定について検討する。
  論文  参考訳（メタデータ） (2023-05-22T19:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。