論文の概要: Revisiting Benchmark and Assessment: An Agent-based Exploratory Dynamic Evaluation Framework for LLMs

• arxiv url: http://arxiv.org/abs/2410.11507v1
• Date: Tue, 15 Oct 2024 11:20:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:04:05.120912
• Title: Revisiting Benchmark and Assessment: An Agent-based Exploratory Dynamic Evaluation Framework for LLMs
• Title（参考訳）: ベンチマークと評価を再考する: LLMのためのエージェントベースの探索的動的評価フレームワーク
• Authors: Wanying Wang, Zeyu Ma, Pengfei Liu, Mingang Chen,
• Abstract要約: 従来のQAベンチマークをより柔軟な戦略基準のフォーマットに拡張する**Benchmark+**と、より大きな探索のためにインタラクションプロセスを強化する**Assessment+**の2つの定義を導入する。 本稿では,この2つの概念を,検索拡張生成と強化学習によって実装したエージェントベース評価フレームワーク*TestAgent*を提案する。 垂直ドメインの評価をスクラッチからアクティベートする既存のベンチマークまで、さまざまなシナリオにおける *TestAgent* の有効性を示す。
• 参考スコア（独自算出の注目度）: 29.72874725703848
• License:
• Abstract: While various vertical domain large language models (LLMs) have been developed, the challenge of automatically evaluating their performance across different domains remains significant in addressing real-world user needs. Current benchmark-based evaluation methods exhibit rigid, purposeless interactions and rely on pre-collected static datasets that are costly to build, inflexible across domains, and misaligned with practical user needs. To address this, we revisit the evaluation components and introduce two definitions: **Benchmark+**, which extends traditional QA benchmarks into a more flexible ``strategy-criterion'' format; and **Assessment+**, which enhances the interaction process for greater exploration and enables both quantitative metrics and qualitative insights that capture nuanced target LLM behaviors from richer multi-turn interactions. We propose an agent-based evaluation framework called *TestAgent*, which implements these two concepts through retrieval augmented generation and reinforcement learning. Experiments on tasks ranging from building vertical domain evaluation from scratch to activating existing benchmarks demonstrate the effectiveness of *TestAgent* across various scenarios. We believe this work offers an interesting perspective on automatic evaluation for LLMs.
• Abstract（参考訳）: 様々な垂直ドメイン大言語モデル(LLM)が開発されているが、実際のユーザニーズに対処するためには、異なるドメイン間でパフォーマンスを自動評価するという課題が依然として重要である。 現在のベンチマークベースの評価手法では、厳密で目的のないインタラクションを示し、ビルドにコストがかかり、ドメイン間で柔軟性がなく、実践的なユーザニーズと不一致な、事前コンパイルされた静的データセットに依存しています。 従来のQAベンチマークをよりフレキシブルな ‘strategy-criterion'' フォーマットに拡張する **Benchmark+* と、より深い探索のためのインタラクションプロセスを強化する *Assessment+* と、よりリッチなマルチターンインタラクションから、ニュアンスされたターゲットのLCMの振る舞いをキャプチャする定量的なメトリクスと定性的洞察の両方を可能にする **Assessment+* である。 本稿では,この2つの概念を,検索拡張生成と強化学習によって実装したエージェントベース評価フレームワーク*TestAgent*を提案する。 垂直ドメインの評価をスクラッチからアクティベートする既存のベンチマークまで、さまざまなシナリオにおける *TestAgent* の有効性を示す。 本研究は,LLMの自動評価に関する興味深い視点を提供すると考えている。

関連論文リスト

• SWE-Search: Enhancing Software Agents with Monte Carlo Tree Search and Iterative Refinement [18.84439000902905]
  SWE-Searchは、MCTS(Monte Carlo Tree Search)と自己改善機構を統合し、ソフトウェアエージェントのパフォーマンスを向上させるマルチエージェントフレームワークである。 本研究は,複雑でダイナミックなソフトウェア工学環境において,エージェント推論と計画を強化する自己評価型検索技術の可能性を強調した。
  論文  参考訳（メタデータ） (2024-10-26T22:45:56Z)
• Adversarial Multi-Agent Evaluation of Large Language Models through Iterative Debates [0.0]
  本稿では,対話エージェントのアンサンブル内で,大規模言語モデル(LLM)を提唱者として解釈するフレームワークを提案する。 このアプローチは、従来の人間ベースの評価や自動メトリクスと比較して、よりダイナミックで包括的な評価プロセスを提供します。
  論文  参考訳（メタデータ） (2024-10-07T00:22:07Z)
• RAG-Modulo: Solving Sequential Tasks using Experience, Critics, and Language Models [5.0741409008225755]
  大規模言語モデル(LLM)は、ロボットの課題を解決するための有望なツールとして登場した。 既存のLSMベースのエージェントは、過去の相互作用を維持および学習する能力に欠ける。 RAG-Modulo は,過去のインタラクションを記憶した LLM ベースのエージェントを強化し,エージェントの判断を評価するための批判を取り入れたフレームワークである。
  論文  参考訳（メタデータ） (2024-09-18T20:03:32Z)
• Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
  現代の言語モデル(LM)は、能力評価において新たな課題を提起する。 メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
  論文  参考訳（メタデータ） (2024-07-22T17:52:12Z)
• Benchmark Self-Evolving: A Multi-Agent Framework for Dynamic LLM Evaluation [51.99752147380505]
  本稿では,大規模言語モデル(LLM)を動的に評価するベンチマーク自己進化フレームワークを提案する。 マルチエージェントシステムを用いて、元のインスタンスのコンテキストや質問を操作し、信頼性の高い新しいインスタンスをフレーミングする。 我々のフレームワークは、異なるモデル間の性能の相違を拡大し、様々なタスクで同じモデル内で性能の相違を拡大します。
  論文  参考訳（メタデータ） (2024-02-18T03:40:06Z)
• F-Eval: Assessing Fundamental Abilities with Refined Evaluation Methods [102.98899881389211]
  F-Evalは、表現、常識、論理などの基本能力を評価するためのバイリンガル評価ベンチマークである。 参照不要な主観的タスクに対しては,APIモデルによるスコアの代替として,新たな評価手法を考案する。
  論文  参考訳（メタデータ） (2024-01-26T13:55:32Z)
• AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents [76.95062553043607]
  大きな言語モデル(LLM)を評価することは、その能力を理解し、実践的なアプリケーションへの統合を促進するために不可欠である。 本稿では,LLMエージェントの分析的評価に適したオープンソース評価フレームワークであるAgentBoardを紹介する。
  論文  参考訳（メタデータ） (2024-01-24T01:51:00Z)
• Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
  大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。 モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。 評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
  論文  参考訳（メタデータ） (2023-11-03T14:59:54Z)
• Domain-Expanded ASTE: Rethinking Generalization in Aspect Sentiment Triplet Extraction [67.54420015049732]
  Aspect Sentiment Triplet extract (ASTE) は感情分析における課題であり、人間の感情に対するきめ細かい洞察を提供することを目的としている。 既存のベンチマークは2つのドメインに限定されており、目に見えないドメイン上でのモデルパフォーマンスを評価しない。 各種ドメインのサンプルに注釈を付けることでドメイン拡張ベンチマークを導入し,ドメイン内設定とドメイン外設定の両方でモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-05-23T18:01:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。