論文の概要: Werewolf Arena: A Case Study in LLM Evaluation via Social Deduction

• arxiv url: http://arxiv.org/abs/2407.13943v1
• Date: Thu, 18 Jul 2024 23:41:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 19:13:08.122370
• Title: Werewolf Arena: A Case Study in LLM Evaluation via Social Deduction
• Title（参考訳）: Werewolf Arena:社会的推論によるLCM評価の事例研究
• Authors: Suma Bailis, Jane Friedhoff, Feiyang Chen,
• Abstract要約: Werewolf Arenaは大規模言語モデル(LLM)を評価するためのフレームワークである ウェアウルフ・アリーナでは、LSMは互いに競い合っており、ゲームにおける詐欺、妄想、説得の複雑なダイナミクスをナビゲートしている。 Werewolf Arenaの実用性をGeminiとGPTモデルを備えたアリーナスタイルのトーナメントで実証する。
• 参考スコア（独自算出の注目度）: 3.350801757799469
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper introduces Werewolf Arena, a novel framework for evaluating large language models (LLMs) through the lens of the classic social deduction game, Werewolf. In Werewolf Arena, LLMs compete against each other, navigating the game's complex dynamics of deception, deduction, and persuasion. The framework introduces a dynamic turn-taking system based on bidding, mirroring real-world discussions where individuals strategically choose when to speak. We demonstrate the framework's utility through an arena-style tournament featuring Gemini and GPT models. Our results reveal distinct strengths and weaknesses in the models' strategic reasoning and communication. These findings highlight Werewolf Arena's potential as a challenging and scalable LLM benchmark.
• Abstract（参考訳）: 本稿では,古典的ソーシャル推論ゲームWerewolfのレンズを通して,大規模言語モデル(LLM)を評価するための新しいフレームワークであるWerewolf Arenaを紹介する。 ウェアウルフ・アリーナでは、LSMは互いに競い合っており、ゲームにおける詐欺、妄想、説得の複雑なダイナミクスをナビゲートしている。 このフレームワークは入札に基づく動的なターンテイクシステムを導入し、個人がいつ話すべきかを戦略的に選択する現実世界の議論を反映している。 GeminiとGPTモデルを備えたアリーナスタイルトーナメントを通じて,フレームワークの実用性を実証する。 我々の結果は、モデルの戦略的推論とコミュニケーションにおいて、明らかな長所と短所を明らかにします。 これらの結果は、Werewolf Arenaが挑戦的でスケーラブルなLLMベンチマークとしての可能性を示している。

関連論文リスト

• Enhancing Dialogue Generation in Werewolf Game Through Situation Analysis and Persuasion Strategies [1.7725414095035827]
  本稿では,LLMをベースとしたWerewolf Game AIを提案する。 様々な説得戦略が採用され、他のプレイヤーを効果的にその行動に合わせるように説得する。
  論文  参考訳（メタデータ） (2024-08-29T14:49:13Z)
• Learning to Discuss Strategically: A Case Study on One Night Ultimate Werewolf [28.57358844115881]
  有名なコミュニケーションゲーム『Werewolf』の変種として、One Night Ultimate Werewolf (ONUW) はプレイヤーが戦略的な議論ポリシーを開発する必要がある。 本稿では、強化学習(RL)によって訓練された議論政策を用いて、適切な議論手法を採用するためのRL命令言語エージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-30T11:07:06Z)
• GTBench: Uncovering the Strategic Reasoning Limitations of LLMs via Game-Theoretic Evaluations [87.99872683336395]
  大規模言語モデル(LLM)は、重要な現実世界のアプリケーションに統合される。 本稿では,LLMの競合環境における推論能力について検討する。 まず,広く認識されている10のタスクを構成する言語駆動型環境であるGTBenchを提案する。
  論文  参考訳（メタデータ） (2024-02-19T18:23:36Z)
• Enhance Reasoning for Large Language Models in the Game Werewolf [15.730860371636336]
  本稿では,Large Language Models(LLM)を外部のThinkerモジュールと統合する革新的なフレームワークを提案する。 本フレームワークは,マルチシステム推論を必要とする9人プレイヤのWerewolfゲームを用いて提案する。 実験では, 帰納的推論, 音声生成, オンラインゲーム評価におけるフレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2024-02-04T03:47:10Z)
• ALYMPICS: LLM Agents Meet Game Theory -- Exploring Strategic Decision-Making with AI Agents [77.34720446306419]
  Alympicsは、ゲーム理論の研究にLarge Language Model (LLM)エージェントを利用する、体系的なシミュレーションフレームワークである。 Alympicsは、複雑なゲーム理論の問題を研究するための汎用的なプラットフォームを作成する。
  論文  参考訳（メタデータ） (2023-11-06T16:03:46Z)
• Leveraging Word Guessing Games to Assess the Intelligence of Large Language Models [105.39236338147715]
  この論文は人気のある言語ゲーム『Who is Spy』にインスパイアされている。 本研究は,LEMの表現と変形能力を評価するためのDEEPを開発する。 次に、インタラクティブなマルチエージェントフレームワークであるSpyGameを紹介します。
  論文  参考訳（メタデータ） (2023-10-31T14:37:42Z)
• LLM-Based Agent Society Investigation: Collaboration and Confrontation in Avalon Gameplay [55.12945794835791]
  Avalon をテストベッドとして使用し,システムプロンプトを用いてゲームプレイにおける LLM エージェントの誘導を行う。 本稿では,Avalonに適した新しいフレームワークを提案し,効率的なコミュニケーションと対話を容易にするマルチエージェントシステムを提案する。 その結果、適応エージェントの作成におけるフレームワークの有効性を確認し、動的社会的相互作用をナビゲートするLLMベースのエージェントの可能性を提案する。
  論文  参考訳（メタデータ） (2023-10-23T14:35:26Z)
• Avalon's Game of Thoughts: Battle Against Deception through Recursive Contemplation [80.126717170151]
  本研究では,複雑なアバロンゲームを用いて,認知環境におけるLSMの可能性を探究する。 本稿では,LLMの偽情報識別・対策能力を高めるための新しいフレームワークRecursive Contemplation(ReCon)を提案する。
  論文  参考訳（メタデータ） (2023-10-02T16:27:36Z)
• Exploring Large Language Models for Communication Games: An Empirical Study on Werewolf [19.39740531672788]
  通信ゲームにおいて,大規模言語モデルに係わるチューニング不要なフレームワークを提案する。 代表的で広く研究されているコミュニケーションゲームWerewolf'の実証的研究は、我々のフレームワークがLLMのパラメータを調整せずにWerewolfゲームを効果的にプレイできることを実証している。
  論文  参考訳（メタデータ） (2023-09-09T01:56:40Z)
• GameEval: Evaluating LLMs on Conversational Games [93.40433639746331]
  大規模言語モデル(LLM)を評価する新しいアプローチであるGameEvalを提案する。 GameEvalはLSMをゲームプレイヤーとして扱い、様々な形式の会話を起動することで達成した特定の目標にそれぞれ異なる役割を割り当てる。 我々は,GameEvalが様々なLLMの能力を効果的に差別化することができ,複雑な問題を解決するための統合能力を総合的に評価できることを示した。
  論文  参考訳（メタデータ） (2023-08-19T14:33:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。