論文の概要: SimulBench: Evaluating Language Models with Creative Simulation Tasks

• arxiv url: http://arxiv.org/abs/2409.07641v1
• Date: Wed, 11 Sep 2024 21:53:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 18:21:43.809188
• Title: SimulBench: Evaluating Language Models with Creative Simulation Tasks
• Title（参考訳）: SimulBench: 創造的なシミュレーションタスクによる言語モデルの評価
• Authors: Qi Jia, Xiang Yue, Tianyu Zheng, Jie Huang, Bill Yuchen Lin,
• Abstract要約: 我々は,大規模言語モデル(LLM)を評価するためのベンチマークであるSimulBenchを紹介した。 大きな課題は、ユーザとAI間のシミュレーションタスクのマルチラウンドインタラクティブな性質を保ちながら、異なるLLMを公平にテストするための評価フレームワークを開発することである。
• 参考スコア（独自算出の注目度）: 20.233111652638637
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce SimulBench, a benchmark designed to evaluate large language models (LLMs) across a diverse collection of creative simulation scenarios, such as acting as a Linux terminal or playing text games with users. While these simulation tasks serve as effective measures of an LLM's general intelligence, they are seldom incorporated into existing benchmarks. A major challenge is to develop an evaluation framework for testing different LLMs fairly while preserving the multi-round interactive nature of simulation tasks between users and AI. To tackle this issue, we suggest using a fixed LLM as a user agent to engage with an LLM to collect dialogues first under different tasks. Then, challenging dialogue scripts are extracted for evaluating different target LLMs. To facilitate automatic assessment on \DataName{}, GPT-4 is employed as the evaluator, tasked with reviewing the quality of the final response generated by the target LLMs given multi-turn dialogue scripts. Our comprehensive experiments indicate that these simulation tasks continue to pose a significant challenge with their unique natures and show the gap between proprietary models and the most advanced open LLMs. For example, GPT-4-turbo outperforms LLaMA-3-70b-Chat on 18.55\% more cases.
• Abstract（参考訳）: 我々は,Linux端末として動作したり,ユーザとテキストゲームをしたりするなど,多岐にわたるクリエイティブなシミュレーションシナリオに対して,大規模言語モデル(LLM)を評価するために設計されたベンチマークであるSimulBenchを紹介した。 これらのシミュレーションタスクはLLMの汎用知能の効果的な尺度として機能するが、既存のベンチマークには組み込まれない。 大きな課題は、ユーザとAI間のシミュレーションタスクのマルチラウンドインタラクティブな性質を保ちながら、異なるLLMを公平にテストするための評価フレームワークを開発することである。 この問題に対処するために、固定LLMをユーザエージェントとして使用してLLMと関わり、まず異なるタスク下で対話を収集することを提案する。 そして、異なる目標LLMを評価するために、挑戦的な対話スクリプトを抽出する。 GPT-4は, マルチターン対話スクリプトを対象とするLLMが生成する最終応答の質を評価するために, 評価器として使用される。 我々の総合的な実験から、これらのシミュレーションタスクは、その特異性において重要な課題であり続けており、プロプライエタリなモデルと最も先進的なオープンなLLMとのギャップを示している。 例えば、GPT-4-turboは18.55\%のケースでLLaMA-3-70b-Chatを上回っている。

関連論文リスト

• Beyond Prompts: Dynamic Conversational Benchmarking of Large Language Models [0.0]
  本稿では,対話エージェントを対象とした動的ベンチマークシステムを提案する。 タスクをインターリーブするために定期的にコンテキストスイッチを行い、エージェントの長期記憶、継続的な学習、情報統合機能を評価する現実的なテストシナリオを構築します。
  論文  参考訳（メタデータ） (2024-09-30T12:01:29Z)
• MathChat: Benchmarking Mathematical Reasoning and Instruction Following in Multi-Turn Interactions [58.57255822646756]
  本稿では,大規模言語モデル (LLM) を評価するためのベンチマークであるMathChatを紹介する。 我々は,MathChatベンチマーク上での様々なSOTA LLMの性能評価を行い,これらのモデルが単ターン質問応答において優れているが,より複雑なシナリオでは性能が著しく劣っていることを観察した。 我々は,LLMファインタニングのための合成対話に基づく数学データセットであるMathChat syncを開発した。
  論文  参考訳（メタデータ） (2024-05-29T18:45:55Z)
• PPTC-R benchmark: Towards Evaluating the Robustness of Large Language Models for PowerPoint Task Completion [96.47420221442397]
  文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。 我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。 GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
  論文  参考訳（メタデータ） (2024-03-06T15:33:32Z)
• State of What Art? A Call for Multi-Prompt LLM Evaluation [28.307860675006545]
  我々は650万インスタンスにわたる単発評価により得られた結果の脆さを包括的に分析した。 解析のロバスト性を改善するために,多様なプロンプトのセットを用いてLSMを評価することを提案する。
  論文  参考訳（メタデータ） (2023-12-31T22:21:36Z)
• Let the LLMs Talk: Simulating Human-to-Human Conversational QA via Zero-Shot LLM-to-LLM Interactions [19.365615476223635]
  対話型質問応答システムの目的は,ユーザとの対話によって情報を取得する対話型検索システムを作ることである。 既存の作業では、人間の注釈を使って質問者(学生)と回答者(教師)の役割を演じる。 教師と学生のインタラクションをシミュレーションするためにゼロショット学習者LLMを用いたシミュレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-05T17:38:02Z)
• MLLM-Bench: Evaluating Multimodal LLMs with Per-sample Criteria [49.500322937449326]
  MLLM(Multimodal large language model)は、AIアプリケーションの範囲を広げている。 既存のMLLMの自動評価手法は主にユーザエクスペリエンスを考慮せずにクエリを評価する場合に限られている。 本稿では,MLLM を判断基準として評価する MLLM の新しい評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-23T12:04:25Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task Completion [96.47420221442397]
  我々はPowerPoint Task Completionベンチマークを導入し、大規模言語モデルがマルチターン・マルチモーダル命令を完了する能力を評価する。 また,ラベルAPIシーケンスではなく,予測ファイルに基づいてLCMが命令を終了するかどうかを評価するPTX-Match評価システムを提案する。 その結果、GPT-4はシングルターン対話テストにおいて75.1%の精度で他のLLMよりも優れていたが、セッション全体を完成させる際の課題に直面しており、セッションの精度は6%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-11-03T08:06:35Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。