論文の概要: Dungeons and Dragons as a Dialog Challenge for Artificial Intelligence
- arxiv url: http://arxiv.org/abs/2210.07109v1
- Date: Thu, 13 Oct 2022 15:43:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 14:12:54.553851
- Title: Dungeons and Dragons as a Dialog Challenge for Artificial Intelligence
- Title(参考訳): ダンジョンとドラゴン : 人工知能の対話的挑戦
- Authors: Chris Callison-Burch, Gaurav Singh Tomar, Lara J. Martin, Daphne
Ippolito, Suma Bailis, David Reitter
- Abstract要約: 我々はD&Dを対話システムチャレンジとみなし、ゲーム内の次の会話のターンを生成し、対話履歴が与えられたゲームの状態を予測する。
約900のゲームで構成され、合計7000人のプレーヤー、80万の対話ターン、50万のダイスロール、58万の単語からなるゲームプレイデータセットを作成します。
我々は、大きな言語モデル(LM)を訓練し、異なる情報に基づいて次のゲームターンを生成する。
- 参考スコア(独自算出の注目度): 28.558934742150022
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI researchers have posited Dungeons and Dragons (D&D) as a challenge problem
to test systems on various language-related capabilities. In this paper, we
frame D&D specifically as a dialogue system challenge, where the tasks are to
both generate the next conversational turn in the game and predict the state of
the game given the dialogue history. We create a gameplay dataset consisting of
nearly 900 games, with a total of 7,000 players, 800,000 dialogue turns,
500,000 dice rolls, and 58 million words. We automatically annotate the data
with partial state information about the game play. We train a large language
model (LM) to generate the next game turn, conditioning it on different
information. The LM can respond as a particular character or as the player who
runs the game--i.e., the Dungeon Master (DM). It is trained to produce dialogue
that is either in-character (roleplaying in the fictional world) or
out-of-character (discussing rules or strategy). We perform a human evaluation
to determine what factors make the generated output plausible and interesting.
We further perform an automatic evaluation to determine how well the model can
predict the game state given the history and examine how well tracking the game
state improves its ability to produce plausible conversational output.
- Abstract(参考訳): AI研究者は、ダンジョンズ・アンド・ドラゴンズ(D&D)を様々な言語関連の能力でシステムをテストする上での課題として挙げている。
本稿では,d&dを対話システムチャレンジとして,ゲーム内の次の会話のターンを生成し,対話履歴からゲームの状態を予測するタスクとして,d&dをフレーム化する。
約900のゲームからなるゲームプレイデータセットを作成し、合計7000人のプレイヤー、80万の対話ターン、50万のサイコロ、そして5800万の単語からなる。
ゲームプレイに関する部分状態情報で自動的にアノテートする。
我々は、大きな言語モデル(LM)を訓練し、異なる情報に基づいて次のゲームターンを生成する。
LMは特定のキャラクターとして、またはゲームを実行するプレイヤーとして、つまりダンジョンマスター(DM)として応答することができる。
in-character(架空の世界でロールプレイング)かout-of-character(説明規則または戦略)のいずれかの対話を作成するように訓練されている。
人による評価を行い、生成した出力を妥当かつ興味深いものにする要因を決定する。
さらに,その履歴から,モデルがゲーム状態をどの程度予測できるかを自動評価し,ゲーム状態の追跡が妥当な会話出力を生成する能力を向上させるかを検討する。
関連論文リスト
- Long-Horizon Dialogue Understanding for Role Identification in the Game
of Avalon with Large Language Models [6.176709034158014]
Avalon: The Resistanceは、プレイヤーがチームの目的を達成するためにお互いの隠れたアイデンティティを判断しなければならない社会的推論ゲームである。
オンラインテストベッドと20個の慎重に収集・ラベル付けされたゲームを含むデータセットを導入する。
そこで本研究では,LLMが6人のプレイヤー間での知覚的長期会話を利用して,各プレイヤーの目標とモチベーションを決定する能力について論じる。
論文 参考訳(メタデータ) (2023-11-09T20:04:08Z) - Skill Check: Some Considerations on the Evaluation of Gamemastering
Models for Role-playing Games [0.5803309695504829]
ロールプレイングゲームにおいて、ゲームマスター(ゲームマスター、英: Game Master、GM)は、プレイヤーが直面している課題をデザインし、アクションの結果を物語るゲームマスターである。
本稿では,対話型ストーリテリングと自然言語処理の観点から,GMをモデル化する上での課題について論じる。
これらの課題に続き、このような対話システムを評価するための3つのテストカテゴリを提案し、ChatGPT、Bard、OpenAssistantをアウト・オブ・ボックスGMとしてテストする。
論文 参考訳(メタデータ) (2023-09-24T17:19:36Z) - CALYPSO: LLMs as Dungeon Masters' Assistants [46.61924662589895]
大規模言語モデル(LLM)は、一貫性のある自然言語テキストを生成する優れた能力を示している。
本稿では,LCMを利用したインタフェースシステムであるCALYPSOについて紹介する。
CALYPSOへのアクセスが認められたとき、DMはプレイヤーへの直接のプレゼンテーションに適した高忠実なテキストを生成し、DMがクリエイティブエージェンシーを維持しながらさらに発展できるという低忠実なアイデアを作成したと報告した。
論文 参考訳(メタデータ) (2023-08-15T02:57:00Z) - FIREBALL: A Dataset of Dungeons and Dragons Actual-Play with Structured
Game State Information [75.201485544517]
本研究では,Discord上の実D&Dゲームプレイから25,000近いセッションを,真のゲーム状態情報とともに格納した大規模データセットFIREBALLを提案する。
我々は,FIREBALLがAvrae状態情報を用いて自然言語生成(NLG)を改善することを実証した。
論文 参考訳(メタデータ) (2023-05-02T15:36:10Z) - Can Large Language Models Play Text Games Well? Current State-of-the-Art
and Open Questions [22.669941641551823]
ChatGPT や GPT-4 のような大規模言語モデル (LLM) は、最近、人間のユーザと通信する顕著な能力を示した。
我々は,ゲームの世界と対話することで,プレイヤが環境を理解し,状況に対処しなければならないような,テキストゲームをプレイする能力について調査する。
実験の結果,ChatGPTは既存のシステムと比較して競争力があるものの,知能のレベルは低いことがわかった。
論文 参考訳(メタデータ) (2023-04-06T05:01:28Z) - I Cast Detect Thoughts: Learning to Converse and Guide with Intents and
Theory-of-Mind in Dungeons and Dragons [82.28503603235364]
ダンジョンズとドラゴンズにおける目標駆動型環境における教師と学生の自然言語相互作用について検討した。
我々のアプローチは,(1)ダンジョンマスターがプレイヤーを目標に向かって誘導する意図,(2)DMが意図を表現しているプレイヤーへの指示発声,(3)プレイヤーの指導に対する反応を未来へと一変させる理論・オブ・ミンド(ToM)モデルに分解・モデル化することである。
論文 参考訳(メタデータ) (2022-12-20T08:06:55Z) - Robots-Dont-Cry: Understanding Falsely Anthropomorphic Utterances in
Dialog Systems [64.10696852552103]
非常に人為的な反応は、ユーザーが人間と対話していると考えることを不快に、あるいは暗黙的に騙すかもしれない。
9つの異なるデータソースからサンプリングした約900の2ターンダイアログの実現可能性に関する人間の評価を収集する。
論文 参考訳(メタデータ) (2022-10-22T12:10:44Z) - A Benchmark for Understanding and Generating Dialogue between Characters
in Stories [75.29466820496913]
本研究は,機械が物語の対話を理解・生成できるかどうかを探求する最初の研究である。
マスク付き対話生成と対話話者認識という2つの新しいタスクを提案する。
DialStoryの自動評価と手動評価で既存のモデルをテストすることで,提案課題の難しさを示す。
論文 参考訳(メタデータ) (2022-09-18T10:19:04Z) - DialogZoo: Large-Scale Dialog-Oriented Task Learning [52.18193690394549]
我々は,多種多様な対話課題を解くための統合基盤モデルの構築を目指している。
この目的を達成するために、73の公開データセットから、まず大規模なラベル付き対話データセットを収集する。
論文 参考訳(メタデータ) (2022-05-25T11:17:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。