論文の概要: Tachikuma: Understading Complex Interactions with Multi-Character and
Novel Objects by Large Language Models
- arxiv url: http://arxiv.org/abs/2307.12573v1
- Date: Mon, 24 Jul 2023 07:40:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 15:10:13.888894
- Title: Tachikuma: Understading Complex Interactions with Multi-Character and
Novel Objects by Large Language Models
- Title(参考訳): Tachikuma: 大規模言語モデルによるマルチファクターと新しいオブジェクトとの複雑な相互作用の確立
- Authors: Yuanzhi Liang, Linchao Zhu, Yi Yang
- Abstract要約: 我々は,複数文字と新しいオブジェクトベースインタラクション推定タスクとサポートデータセットからなる,立久間というベンチマークを導入する。
このデータセットは、ゲームプレイ中のリアルタイム通信からログデータをキャプチャし、多様な、接地された複雑なインタラクションを提供して、さらなる探索を行う。
本稿では,対話理解の強化に有効であることを示すため,簡単なプロンプトベースラインを提案し,その性能評価を行う。
- 参考スコア(独自算出の注目度): 67.20964015591262
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in natural language and Large Language Models (LLMs) have
enabled AI agents to simulate human-like interactions within virtual worlds.
However, these interactions still face limitations in complexity and
flexibility, particularly in scenarios involving multiple characters and novel
objects. Pre-defining all interactable objects in the agent's world model
presents challenges, and conveying implicit intentions to multiple characters
through complex interactions remains difficult. To address these issues, we
propose integrating virtual Game Masters (GMs) into the agent's world model,
drawing inspiration from Tabletop Role-Playing Games (TRPGs). GMs play a
crucial role in overseeing information, estimating players' intentions,
providing environment descriptions, and offering feedback, compensating for
current world model deficiencies. To facilitate future explorations for complex
interactions, we introduce a benchmark named Tachikuma, comprising a Multiple
character and novel Object based interaction Estimation (MOE) task and a
supporting dataset. MOE challenges models to understand characters' intentions
and accurately determine their actions within intricate contexts involving
multi-character and novel object interactions. Besides, the dataset captures
log data from real-time communications during gameplay, providing diverse,
grounded, and complex interactions for further explorations. Finally, we
present a simple prompting baseline and evaluate its performance, demonstrating
its effectiveness in enhancing interaction understanding. We hope that our
dataset and task will inspire further research in complex interactions with
natural language, fostering the development of more advanced AI agents.
- Abstract(参考訳): 自然言語とLarge Language Models(LLM)の最近の進歩により、AIエージェントは仮想世界での人間のようなインタラクションをシミュレートできるようになった。
しかし、これらの相互作用は、特に複数の文字と新しいオブジェクトを含むシナリオにおいて、複雑さと柔軟性の制限に直面している。
エージェントの世界モデルで全ての相互作用可能なオブジェクトを事前に定義することは困難であり、複雑な相互作用を通じて複数の文字に暗黙の意図を伝えることは依然として困難である。
そこで本稿では,仮想ゲームマスタ(gms)をエージェントの世界モデルに統合し,テーブルトップロールプレイングゲーム(trpgs)からインスピレーションを得た。
GMは情報を監視し、プレイヤーの意図を推定し、環境の説明を提供し、フィードバックを提供し、現在の世界モデルの欠陥を補うために重要な役割を果たす。
複雑なインタラクションの今後の探索を容易にするために,複数文字と新しいオブジェクトベースインタラクション推定(MOE)タスクとサポートデータセットからなる,Tchikumaというベンチマークを導入する。
moeはモデルに挑戦し、キャラクターの意図を理解し、マルチキャラクタと新しいオブジェクトインタラクションを含む複雑なコンテキスト内でそれらのアクションを正確に決定する。
さらにデータセットは、ゲームプレイ中のリアルタイム通信からログデータをキャプチャし、さらなる調査のために多様で接地的で複雑なインタラクションを提供する。
最後に,簡単なプロンプトベースラインを示し,その性能評価を行い,インタラクション理解の促進に有効性を示す。
我々のデータセットとタスクが、自然言語との複雑な相互作用をさらに研究し、より高度なAIエージェントの開発を促進することを期待しています。
関連論文リスト
- LUCID: LLM-Generated Utterances for Complex and Interesting Dialogues [40.07063536167041]
仮想アシスタントは、トランスフォーマーベース大規模言語モデル(LLM)の進歩によって、対話能力の面で劇的な飛躍を遂げる可能性がある。
しかし、真にトランスフォーメーションされたタスク指向対話機能を実現するための大きなボトルネックは、高品質で言語学的に洗練されたデータの不足である。
LUCIDを使用して、100のインテントにまたがる4,277のマルチドメイン、マルチインテリジェントな会話のシードデータセットを生成し、その能力を実証しています。
論文 参考訳(メタデータ) (2024-03-01T11:33:53Z) - Agent AI: Surveying the Horizons of Multimodal Interaction [83.18367129924997]
エージェントAI(Agent AI)とは、視覚刺激や言語入力、その他の環境データを知覚できる対話型システムである。
我々は,バーチャルリアリティやシミュレートされたシーンを容易に作成し,仮想環境内に具体化されたエージェントと対話できる未来を構想する。
論文 参考訳(メタデータ) (2024-01-07T19:11:18Z) - LARP: Language-Agent Role Play for Open-World Games [19.80040627487576]
Language Agent for Role-Playing (LARP)は、メモリ処理と意思決定アシスタントを含む認知アーキテクチャである。
このフレームワークは、ユーザとエージェント間のインタラクションを洗練し、ユニークなバックグラウンドとパーソナリティで事前に定義する。
エンターテイメント、教育、様々なシミュレーションシナリオなど、さまざまな分野における言語モデルの多彩な利用を強調している。
論文 参考訳(メタデータ) (2023-12-24T10:08:59Z) - PIPPA: A Partially Synthetic Conversational Dataset [13.393459829805144]
PIPPA(Personal Interaction Pairs between People and AI)という部分合成データセットを導入する。
PIPPAは、ロールプレイ愛好家のグループを含むコミュニティ主導のクラウドソーシング活動の結果である。
データセットは、26,000の会話セッションに分散された100万以上の発話で構成されている。
論文 参考訳(メタデータ) (2023-08-11T00:33:26Z) - Interactive Natural Language Processing [67.87925315773924]
対話型自然言語処理(iNLP)は,NLP分野における新しいパラダイムとして登場した。
本稿では,iNLPの概念の統一的定義と枠組みを提案することから,iNLPに関する包括的調査を行う。
論文 参考訳(メタデータ) (2023-05-22T17:18:29Z) - Knowledge-enhanced Agents for Interactive Text Games [16.055119735473017]
テキストベースのゲームにおいてエージェントの機能的接地を改善するための知識注入フレームワークを提案する。
学習に基づくエージェントに注入するドメイン知識の2つの形態について考察する。
我々のフレームワークは、強化学習エージェントと言語モデルエージェントの2つの代表的なモデルクラスをサポートしている。
論文 参考訳(メタデータ) (2023-05-08T23:31:39Z) - ArK: Augmented Reality with Knowledge Interactive Emergent Ability [115.72679420999535]
基礎モデルから新しいドメインへの知識記憶の伝達を学習する無限エージェントを開発する。
私たちのアプローチの核心は、Augmented Reality with Knowledge Inference Interaction (ArK)と呼ばれる新しいメカニズムである。
我々のArKアプローチは,大規模な基礎モデルと組み合わせることで,生成された2D/3Dシーンの品質を大幅に向上することを示す。
論文 参考訳(メタデータ) (2023-05-01T17:57:01Z) - Chat with the Environment: Interactive Multimodal Perception Using Large
Language Models [19.623070762485494]
大型言語モデル(LLM)は、数発のロボット計画において顕著な推論能力を示している。
本研究は,LLMがマルチモーダル環境下での対話型ロボットの動作を制御し,高レベルな計画と推論能力を提供することを示す。
論文 参考訳(メタデータ) (2023-03-14T23:01:27Z) - ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。
TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。
我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
論文 参考訳(メタデータ) (2020-07-09T17:33:27Z) - SPA: Verbal Interactions between Agents and Avatars in Shared Virtual
Environments using Propositional Planning [61.335252950832256]
SPA(Sense-Plan-Ask)は、仮想的な仮想環境において、仮想的な人間のようなエージェントとユーザアバターの間の言語的対話を生成する。
提案アルゴリズムは実行時コストを小さくし,自然言語通信を利用せずにエージェントよりも効率的に目標を達成できることが判明した。
論文 参考訳(メタデータ) (2020-02-08T23:15:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。