論文の概要: GameEval: Evaluating LLMs on Conversational Games

• arxiv url: http://arxiv.org/abs/2308.10032v1
• Date: Sat, 19 Aug 2023 14:33:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 18:17:33.564593
• Title: GameEval: Evaluating LLMs on Conversational Games
• Title（参考訳）: GameEval: 会話ゲームにおけるLLMの評価
• Authors: Dan Qiao, Chenfei Wu, Yaobo Liang, Juntao Li, Nan Duan
• Abstract要約: 大規模言語モデル(LLM)を評価する新しいアプローチであるGameEvalを提案する。 GameEvalはLSMをゲームプレイヤーとして扱い、様々な形式の会話を起動することで達成した特定の目標にそれぞれ異なる役割を割り当てる。 我々は,GameEvalが様々なLLMの能力を効果的に差別化することができ,複雑な問題を解決するための統合能力を総合的に評価できることを示した。
• 参考スコア（独自算出の注目度）: 93.40433639746331
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid advancements in large language models (LLMs) have presented challenges in evaluating those models. Existing evaluation methods are either reference-based or preference based, which inevitably need human intervention or introduce test bias caused by evaluator models. In this paper, we propose GameEval, a novel approach to evaluating LLMs through goal-driven conversational games, overcoming the limitations of previous methods. GameEval treats LLMs as game players and assigns them distinct roles with specific goals achieved by launching conversations of various forms, including discussion, question answering, and voting. We design three unique games with cooperative or adversarial objectives, accompanied by corresponding evaluation metrics, to show how this new paradigm comprehensively evaluates model performance.Through extensive experiments, we show that GameEval can effectively differentiate the capabilities of various LLMs, providing a comprehensive assessment of their integrated abilities to solve complex problems. Our public anonymous code is available at https://github.com/GameEval/GameEval.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩は、これらのモデルを評価する上での課題を提示している。 既存の評価方法は参照ベースまたは好みベースであり、必然的に人間の介入を必要とするか、評価モデルによって引き起こされるテストバイアスを導入する。 本稿では,従来の手法の限界を克服し,ゴール駆動型会話ゲームによるLLMの評価手法であるGameEvalを提案する。 GameEvalはLSMをゲームプレイヤーとして扱い、議論、質問応答、投票など様々な形式の会話をローンチすることで達成した特定の目標にそれぞれ異なる役割を割り当てる。 我々は,この新手法がいかにモデル性能を包括的に評価するかを示すために,協調的あるいは敵対的な目的を持った3つのユニークなゲームを設計し,複雑な問題を解決するための統合能力の包括的評価を提供することにより,様々なllmの能力を効果的に区別できることを示す。 我々の匿名コードはhttps://github.com/GameEval/GameEval.comで入手可能です。

関連論文リスト

• Triangulating LLM Progress through Benchmarks, Games, and Cognitive Tests [89.09172401497213]
  本稿では,大規模質問応答ベンチマーク,インタラクティブゲーム,認知テストの3つの評価パラダイムについて検討する。 効果的な言語使用に不可欠な認知能力を測定するための,対象とするテストスイートをコンパイルする。 分析の結果,対話型ゲームは判別モデルにおける標準ベンチマークよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-02-20T08:36:58Z)
• RPGBENCH: Evaluating Large Language Models as Role-Playing Game Engines [34.002194150560086]
  本稿では,大言語モデル (LLM) をテキストベースのロールプレイングゲーム (RPG) エンジンとして評価するための最初のベンチマークであるRPGBenchを紹介する。 RPGBenchは、ゲーム作成(GC)とゲームシミュレーション(GS)の2つのコアタスクから構成される。
  論文  参考訳（メタデータ） (2025-02-01T23:40:24Z)
• Beyond Outcomes: Transparent Assessment of LLM Reasoning in Games [54.49589494014147]
  GAMEBoTは、大規模言語モデルの厳格な評価のために設計されたゲームアリーナである。 我々は,8つのゲームにまたがる17の卓越したLSMをベンチマークし,様々な戦略能力とゲーム特性について検討した。 以上の結果から,LDMに詳細なCoTプロンプトが付与されている場合でも,GAMEBoTは大きな課題となることが示唆された。
  論文  参考訳（メタデータ） (2024-12-18T08:32:53Z)
• GameArena: Evaluating LLM Reasoning through Live Computer Games [25.415321902887598]
  我々は,人間との対話型ゲームプレイを通じて,大規模言語モデル(LLM)推論能力を評価するベンチマークであるGameArenaを紹介する。 GameArenaは3つのゲームからなり、参加者を楽しませたりエンゲージメントしたりしながら、特定の推論能力(演能的推論や帰納的推論など)をテストする。 我々は2000以上のゲームセッションを収集し、5つの最先端LCMに対して様々な推論能力の詳細な評価を行う。
  論文  参考訳（メタデータ） (2024-12-09T11:22:59Z)
• Evaluating Creativity and Deception in Large Language Models: A Simulation Framework for Multi-Agent Balderdash [6.65572931991284]
  大きな言語モデル(LLM)は複雑なタスクや対話的な環境において印象的な機能を示している。 本稿では, LLMの創造性と論理的推論の両面を評価するために, Balderdash を利用したシミュレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-15T18:42:48Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• F-Eval: Assessing Fundamental Abilities with Refined Evaluation Methods [102.98899881389211]
  F-Evalは、表現、常識、論理などの基本能力を評価するためのバイリンガル評価ベンチマークである。 参照不要な主観的タスクに対しては,APIモデルによるスコアの代替として,新たな評価手法を考案する。
  論文  参考訳（メタデータ） (2024-01-26T13:55:32Z)
• A Comprehensive Analysis of the Effectiveness of Large Language Models as Automatic Dialogue Evaluators [46.939611070781794]
  大規模言語モデル(LLM)は、人間の裁判官にとって有望な代用であることが示されている。 我々は,最近出現した30個のLLMの多次元評価能力をターンレベルとダイアログレベルの両方で解析した。 また,旋回と対話の両レベルにおいて,様々な逆方向の摂動に対処するLLMの頑健性についても検討した。
  論文  参考訳（メタデータ） (2023-12-24T04:50:57Z)
• Leveraging Word Guessing Games to Assess the Intelligence of Large Language Models [105.39236338147715]
  この論文は人気のある言語ゲーム『Who is Spy』にインスパイアされている。 本研究は,LEMの表現と変形能力を評価するためのDEEPを開発する。 次に、インタラクティブなマルチエージェントフレームワークであるSpyGameを紹介します。
  論文  参考訳（メタデータ） (2023-10-31T14:37:42Z)
• Clembench: Using Game Play to Evaluate Chat-Optimized Language Models as Conversational Agents [20.202525145391093]
  近年の研究では,「言語理解エージェント」の体系的評価手法が提案されている。 制約のあるゲームライクな設定に公開することで、大規模言語モデルを有意義に評価できるだろうか? 概念実証として,現在のチャット最適化LDMがゲームプレイの指示に従うことができる範囲において,5つのインタラクション設定について検討する。
  論文  参考訳（メタデータ） (2023-05-22T19:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。