論文の概要: Evaluating Creativity and Deception in Large Language Models: A Simulation Framework for Multi-Agent Balderdash

• arxiv url: http://arxiv.org/abs/2411.10422v1
• Date: Fri, 15 Nov 2024 18:42:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:37:31.843802
• Title: Evaluating Creativity and Deception in Large Language Models: A Simulation Framework for Multi-Agent Balderdash
• Title（参考訳）: 大規模言語モデルにおける創造性と誤認の評価:マルチエージェントなbalderdashのシミュレーションフレームワーク
• Authors: Parsa Hejabi, Elnaz Rahmati, Alireza S. Ziabari, Preni Golazizian, Jesse Thomason, Morteza Dehghani,
• Abstract要約: 大きな言語モデル(LLM)は複雑なタスクや対話的な環境において印象的な機能を示している。 本稿では, LLMの創造性と論理的推論の両面を評価するために, Balderdash を利用したシミュレーションフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 6.65572931991284
• License:
• Abstract: Large Language Models (LLMs) have shown impressive capabilities in complex tasks and interactive environments, yet their creativity remains underexplored. This paper introduces a simulation framework utilizing the game Balderdash to evaluate both the creativity and logical reasoning of LLMs. In Balderdash, players generate fictitious definitions for obscure terms to deceive others while identifying correct definitions. Our framework enables multiple LLM agents to participate in this game, assessing their ability to produce plausible definitions and strategize based on game rules and history. We implemented a centralized game engine featuring various LLMs as participants and a judge LLM to evaluate semantic equivalence. Through a series of experiments, we analyzed the performance of different LLMs, examining metrics such as True Definition Ratio, Deception Ratio, and Correct Guess Ratio. The results provide insights into the creative and deceptive capabilities of LLMs, highlighting their strengths and areas for improvement. Specifically, the study reveals that infrequent vocabulary in LLMs' input leads to poor reasoning on game rules and historical context (https://github.com/ParsaHejabi/Simulation-Framework-for-Multi-Agent-Balderdash).
• Abstract（参考訳）: 大規模言語モデル(LLM)は複雑なタスクや対話的な環境において印象的な能力を示してきたが、その創造性は未解明のままである。 本稿では, LLMの創造性と論理的推論の両面を評価するために, Balderdash を利用したシミュレーションフレームワークを提案する。 Balderdashでは、プレイヤーは不明瞭な用語の架空の定義を生成し、他人を騙し、正しい定義を識別する。 我々のフレームワークは、複数のLLMエージェントがこのゲームに参加できるようにし、ゲームルールと履歴に基づいて、妥当な定義を作成し、ストラテジズする能力を評価する。 我々は,多種多様な LLM を参加者とする集中型ゲームエンジンと,意味的等価性を評価するための判断式 LLM を実装した。 一連の実験を通じて、異なるLLMの性能を分析し、True Definition Ratio、Deception Ratio、Correct Guess Ratioなどのメトリクスを調査した。 結果は、LLMの創造的かつ詐欺的能力に関する洞察を与え、その強みと改善の領域を強調します。 具体的には、LLMの入力における語彙の頻度の低いことは、ゲームルールや歴史的文脈の推論に乏しい(https://github.com/ParsaHejabi/Simulation-Framework-for-Multi-Agent-Balderdash)。

関連論文リスト

• LLM Discussion: Enhancing the Creativity of Large Language Models via Discussion Framework and Role-Play [43.55248812883912]
  大規模言語モデル(LLM)は自然言語処理において例外的な習熟度を示してきたが、しばしばオープンエンドの質問に対する創造的で独創的な応答を生成できない。 LLM議論は,アイデア交換の活発化と多様化を促進する3段階の議論フレームワークである。 提案手法の有効性を, 代替利用テスト, 類似性テスト, インスタンステスト, 科学的創造性テストを用いて評価した。
  論文  参考訳（メタデータ） (2024-05-10T10:19:14Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• GTBench: Uncovering the Strategic Reasoning Limitations of LLMs via Game-Theoretic Evaluations [87.99872683336395]
  大規模言語モデル(LLM)は、重要な現実世界のアプリケーションに統合される。 本稿では,LLMの競合環境における推論能力について検討する。 まず,広く認識されている10のタスクを構成する言語駆動型環境であるGTBenchを提案する。
  論文  参考訳（メタデータ） (2024-02-19T18:23:36Z)
• When LLMs Meet Cunning Texts: A Fallacy Understanding Benchmark for Large Language Models [59.84769254832941]
  本稿では,人間が理解し易いが,理解し難い文を含むFaLlacy Understanding Benchmark (FLUB)を提案する。 具体的には、FLUBが焦点を絞ったcunningテキストは、主に、実際のインターネット環境から収集されたトリッキーでユーモラスで誤解を招くテキストで構成されている。 FLUBに基づいて,複数の代表および先進LLMの性能について検討する。
  論文  参考訳（メタデータ） (2024-02-16T22:12:53Z)
• MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration [102.41118020705876]
  大規模言語モデル(LLM)は自然言語処理の分野で大きな進歩を遂げている。 アプリケーションがマルチエージェント環境に拡張されるにつれ、包括的な評価フレームワークの必要性が高まっている。 この研究は、マルチエージェント設定内でLLMを評価するために特別に設計された新しいベンチマークフレームワークを導入している。
  論文  参考訳（メタデータ） (2023-11-14T21:46:27Z)
• Leveraging Word Guessing Games to Assess the Intelligence of Large Language Models [105.39236338147715]
  この論文は人気のある言語ゲーム『Who is Spy』にインスパイアされている。 本研究は,LEMの表現と変形能力を評価するためのDEEPを開発する。 次に、インタラクティブなマルチエージェントフレームワークであるSpyGameを紹介します。
  論文  参考訳（メタデータ） (2023-10-31T14:37:42Z)
• Clembench: Using Game Play to Evaluate Chat-Optimized Language Models as Conversational Agents [20.202525145391093]
  近年の研究では,「言語理解エージェント」の体系的評価手法が提案されている。 制約のあるゲームライクな設定に公開することで、大規模言語モデルを有意義に評価できるだろうか? 概念実証として,現在のチャット最適化LDMがゲームプレイの指示に従うことができる範囲において,5つのインタラクション設定について検討する。
  論文  参考訳（メタデータ） (2023-05-22T19:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。