論文の概要: Hoodwinked: Deception and Cooperation in a Text-Based Game for Language Models

• arxiv url: http://arxiv.org/abs/2308.01404v1
• Date: Wed, 5 Jul 2023 17:22:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-06 10:55:19.103917
• Title: Hoodwinked: Deception and Cooperation in a Text-Based Game for Language Models
• Title（参考訳）: Hoodwinked: 言語モデルのためのテキストベースゲームにおける認識と協調
• Authors: Aidan O'Gara
• Abstract要約: 私たちは、$textitMafia$と$textitAmong Us$にインスパイアされた、$textitHoodwinked$というテキストベースのゲームを紹介します。 プレイヤーは家に閉じ込められ、逃げるための鍵を見つけなければならないが、一方のプレイヤーは他のプレイヤーを殺すことが義務付けられている。 殺人が行われる度に、生き残ったプレイヤーは自然言語で議論し、1人のプレイヤーをゲームから追放する投票を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Are current language models capable of deception and lie detection? We study this question by introducing a text-based game called $\textit{Hoodwinked}$, inspired by $\textit{Mafia}$ and $\textit{Among Us}$. Players are locked in a house and must find a key to escape, but one player is tasked with killing the others. Each time a murder is committed, the surviving players have a natural language discussion then vote to banish one player from the game. We conduct experiments with agents controlled by GPT-3, GPT-3.5, and GPT-4 and find evidence of deception and lie detection capabilities. The killer often denies their crime and accuses others, leading to measurable effects on voting outcomes. More advanced models are more effective killers, outperforming smaller models in 18 of 24 pairwise comparisons. Secondary metrics provide evidence that this improvement is not mediated by different actions, but rather by stronger deception capabilities during discussions. Overall, we find substantial evidence that current language models are capable of deception. To better evaluate the ability of AI agents to deceive humans, we make this game publicly available at https://hoodwinked.ai/ .
• Abstract（参考訳）: 現在の言語モデルは騙しと嘘の検出が可能ですか。 我々は、$\textit{hoodwinked}$というテキストベースのゲームを導入し、$\textit{mafia}$と$\textit{among us}$にインスパイアされた。 プレイヤーは家に閉じ込められ、脱出するための鍵を見つけなければならないが、1人のプレイヤーは他のプレイヤーを殺す任務を負う。 殺人が行われるたびに、生き残ったプレイヤーは自然言語で議論し、1人のプレイヤーをゲームから追放する投票を行う。 我々は, GPT-3, GPT-3.5, GPT-4によって制御されたエージェントを用いて実験を行い, 偽造と嘘検出能力の証拠を見いだした。 犯人はしばしば犯罪を否定し、他人を非難し、投票結果に測定可能な影響をもたらす。 より高度なモデルはより効果的なキラーであり、24対比較のうち18対比較でより小さなモデルを上回っている。 二次メトリクスは、この改善が異なるアクションによって媒介されるのではなく、議論中のより強い騙し能力によって行われることを示す。 全体として、現在の言語モデルが欺くことができるという実質的な証拠が見つかる。 AIエージェントが人間を騙す能力を評価するために、このゲームはhttps://hoodwinked.ai/で公開されています。

関連論文リスト

• Player-Driven Emergence in LLM-Driven Game Narrative [23.037771673927164]
  大規模言語モデル(LLM)との相互作用が創発的行動を引き起こすかを検討する。 我々のテストベッドはテキストアドベンチャーゲームであり、プレイヤーは固定された物語の前提の下でミステリーを解こうとする。 ゲームプレイのために28人のゲーマーを募集し、GPT-4を使用してゲームログを自動的にゲームプレイの物語を表すノードグラフに変換する。
  論文  参考訳（メタデータ） (2024-04-25T20:39:44Z)
• How Well Can LLMs Echo Us? Evaluating AI Chatbots' Role-Play Ability with ECHO [55.25989137825992]
  チューリングテストに触発された評価フレームワークECHOを紹介する。 この枠組みは、人間と機械が生成した反応を区別するために、対象個人の知名度に係わる。 基礎モデルとして GPT-3.5 と GPT-4 の3つのロールプレイング LLM をECHO を用いて評価した。
  論文  参考訳（メタデータ） (2024-04-22T08:00:51Z)
• Improving Language Model Negotiation with Self-Play and In-Context Learning from AI Feedback [97.54519989641388]
  交渉ゲームにおいて,複数大言語モデル(LLM)が,遊び,振り返り,批判によって自律的に互いに改善できるかどうかを検討する。 私たちが考慮している言語モデルのサブセットだけが、AIフィードバックから自己プレイし、取引価格を改善することができます。
  論文  参考訳（メタデータ） (2023-05-17T11:55:32Z)
• Can Large Language Models Play Text Games Well? Current State-of-the-Art and Open Questions [22.669941641551823]
  ChatGPT や GPT-4 のような大規模言語モデル (LLM) は、最近、人間のユーザと通信する顕著な能力を示した。 我々は,ゲームの世界と対話することで,プレイヤが環境を理解し,状況に対処しなければならないような,テキストゲームをプレイする能力について調査する。 実験の結果,ChatGPTは既存のシステムと比較して競争力があるものの,知能のレベルは低いことがわかった。
  論文  参考訳（メタデータ） (2023-04-06T05:01:28Z)
• Playing the Werewolf game with artificial intelligence for language understanding [0.7550566004119156]
  ワイアウルフ(Werewolf)は、自由な自然言語通信に基づくソーシャル推論ゲームである。 本研究の目的は、自然言語会話を通じてWerewolfをプレイできるAIエージェントを開発することである。
  論文  参考訳（メタデータ） (2023-02-21T13:03:20Z)
• I Cast Detect Thoughts: Learning to Converse and Guide with Intents and Theory-of-Mind in Dungeons and Dragons [82.28503603235364]
  ダンジョンズとドラゴンズにおける目標駆動型環境における教師と学生の自然言語相互作用について検討した。 我々のアプローチは,(1)ダンジョンマスターがプレイヤーを目標に向かって誘導する意図,(2)DMが意図を表現しているプレイヤーへの指示発声,(3)プレイヤーの指導に対する反応を未来へと一変させる理論・オブ・ミンド(ToM)モデルに分解・モデル化することである。
  論文  参考訳（メタデータ） (2022-12-20T08:06:55Z)
• Putting the Con in Context: Identifying Deceptive Actors in the Game of Mafia [4.215251065887862]
  マフィアゲームを通して話者の役割が言語利用に与える影響を分析する。 分類モデルにより, 偽装選手を正直な者よりも疑わしい者としてランク付けできることを示す。 トレーニングされたモデルを用いてプレイヤーの役割を区別する特徴を識別する手法を提案する。
  論文  参考訳（メタデータ） (2022-07-05T18:29:27Z)
• Collusion Detection in Team-Based Multiplayer Games [57.153233321515984]
  チームベースのマルチプレイヤーゲームにおいて,協調動作を検出するシステムを提案する。 提案手法は,ゲーム内行動パターンと組み合わせたプレイヤーの社会的関係を解析する。 次に,非教師なし学習手法であるアイソレーションフォレストによる検出を自動化する。
  論文  参考訳（メタデータ） (2022-03-10T02:37:39Z)
• CommonsenseQA 2.0: Exposing the Limits of AI through Gamification [126.85096257968414]
  現代自然言語理解モデルの能力をテストするベンチマークを構築した。 本研究では,データ構築の枠組みとしてゲーミフィケーションを提案する。
  論文  参考訳（メタデータ） (2022-01-14T06:49:15Z)
• L2E: Learning to Exploit Your Opponent [66.66334543946672]
  本稿では,暗黙的対向モデリングのための新しい学習フレームワークを提案する。 L2Eは、トレーニング中に異なる相手との対話によって、相手を悪用する能力を取得する。 本稿では, 対戦相手を自動的に生成する新しい対戦相手戦略生成アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-18T14:27:59Z)
• Keep CALM and Explore: Language Models for Action Generation in Text-based Games [27.00685301984832]
  本研究では,各ゲーム状態におけるアクション候補のコンパクトなセットを生成するために,文脈行動言語モデル(CALM)を提案する。 我々はCALMと強化学習エージェントを組み合わせることで、生成したアクション候補を再ランクし、ゲーム内報酬を最大化する。
  論文  参考訳（メタデータ） (2020-10-06T17:36:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。