論文の概要: BENCHAGENTS: Automated Benchmark Creation with Agent Interaction

• arxiv url: http://arxiv.org/abs/2410.22584v1
• Date: Tue, 29 Oct 2024 22:56:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:29:17.522697
• Title: BENCHAGENTS: Automated Benchmark Creation with Agent Interaction
• Title（参考訳）: BENCHAGENTS:エージェントインタラクションによるベンチマーク自動作成
• Authors: Natasha Butt, Varun Chandrasekaran, Neel Joshi, Besmira Nushi, Vidhisha Balachandran,
• Abstract要約: BENCHAGENTSは,大規模言語モデル(LLM)を体系的に活用し,複雑な機能のためのベンチマーク作成を自動化するフレームワークである。 我々は、BENCHAGENTSを用いて、テキスト生成時の計画と制約満足度に関連する機能を評価するベンチマークを作成する。 次に、これらのベンチマークを使用して、7つの最先端モデルを調査し、共通の障害モードとモデルの違いに関する新たな洞察を抽出する。
• 参考スコア（独自算出の注目度）: 16.4783894348333
• License:
• Abstract: Evaluations are limited by benchmark availability. As models evolve, there is a need to create benchmarks that can measure progress on new generative capabilities. However, creating new benchmarks through human annotations is slow and expensive, restricting comprehensive evaluations for any capability. We introduce BENCHAGENTS, a framework that methodically leverages large language models (LLMs) to automate benchmark creation for complex capabilities while inherently ensuring data and metric quality. BENCHAGENTS decomposes the benchmark creation process into planning, generation, data verification, and evaluation, each of which is executed by an LLM agent. These agents interact with each other and utilize human-in-the-loop feedback from benchmark developers to explicitly improve and flexibly control data diversity and quality. We use BENCHAGENTS to create benchmarks to evaluate capabilities related to planning and constraint satisfaction during text generation. We then use these benchmarks to study seven state-of-the-art models and extract new insights on common failure modes and model differences.
• Abstract（参考訳）: 評価はベンチマークの可用性によって制限される。 モデルが進化するにつれて、新しい生成能力の進捗を計測できるベンチマークを作成する必要がある。 しかしながら、ヒューマンアノテーションを通じて新しいベンチマークを作成するのは遅くてコストがかかり、あらゆる機能に対する包括的な評価が制限される。 BENCHAGENTSは,大規模言語モデル(LLM)を方法論的に活用して,データとメートル法品質を本質的に保証しつつ,複雑な機能のためのベンチマーク生成を自動化するフレームワークである。 BENCHAGENTSは、ベンチマーク作成プロセスを計画、生成、データ検証、評価に分解し、それぞれがLLMエージェントによって実行される。 これらのエージェントは相互に相互作用し、ベンチマーク開発者からのヒューマン・イン・ザ・ループフィードバックを使用して、データの多様性と品質を明示的に改善し、柔軟に制御する。 我々は、BENCHAGENTSを用いて、テキスト生成時の計画と制約満足度に関連する機能を評価するベンチマークを作成する。 次に、これらのベンチマークを使用して、7つの最先端モデルを調査し、共通の障害モードとモデルの違いに関する新たな洞察を抽出する。

関連論文リスト

• Revisiting Benchmark and Assessment: An Agent-based Exploratory Dynamic Evaluation Framework for LLMs [29.72874725703848]
  従来のQAベンチマークを、より柔軟な"戦略基準"フォーマットに拡張するBenchmark+と、インタラクションプロセスを強化するAccess+という2つの概念を紹介します。 本研究では,これらの概念を検索の強化と強化学習を通じて実装するTestAgentというエージェントベース評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T11:20:42Z)
• EBES: Easy Benchmarking for Event Sequences [17.277513178760348]
  イベントシーケンスは、ヘルスケア、ファイナンス、ユーザインタラクションログなど、さまざまな現実世界のドメインにおける一般的なデータ構造である。 時間データモデリング技術の進歩にもかかわらず、イベントシーケンスのパフォーマンスを評価するための標準ベンチマークは存在しない。 標準化された評価シナリオとプロトコルを備えた総合的なベンチマークツールであるEBESを紹介する。
  論文  参考訳（メタデータ） (2024-10-04T13:03:43Z)
• Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
  現代の言語モデル(LM)は、能力評価において新たな課題を提起する。 メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
  論文  参考訳（メタデータ） (2024-07-22T17:52:12Z)
• Benchmark Self-Evolving: A Multi-Agent Framework for Dynamic LLM Evaluation [51.99752147380505]
  本稿では,大規模言語モデル(LLM)を動的に評価するベンチマーク自己進化フレームワークを提案する。 マルチエージェントシステムを用いて、元のインスタンスのコンテキストや質問を操作し、信頼性の高い新しいインスタンスをフレーミングする。 我々のフレームワークは、異なるモデル間の性能の相違を拡大し、様々なタスクで同じモデル内で性能の相違を拡大します。
  論文  参考訳（メタデータ） (2024-02-18T03:40:06Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• GEMv2: Multilingual NLG Benchmarking in a Single Line of Code [161.1761414080574]
  Generation, Evaluation, and Metrics Benchmarkは、データセット、モデル、メトリック開発者のためのモジュラーインフラストラクチャを提供する。 GEMv2は51言語で40のドキュメントデータセットをサポートする。 すべてのデータセットのモデルはオンラインで評価でき、インタラクティブなデータカード作成とレンダリングツールによって、生きたベンチマークに新しいデータセットを簡単に追加できます。
  論文  参考訳（メタデータ） (2022-06-22T17:52:30Z)
• Dynabench: Rethinking Benchmarking in NLP [82.26699038776812]
  動的データセットの作成とモデルベンチマークのためのオープンソースプラットフォームであるdynabenchを紹介する。 DynabenchはWebブラウザで動作し、ループ内の人間とモデルデータセットの作成をサポートする。 私たちは、これらの概念を図示し、プラットフォームの約束を強調する4つの初期のNLPタスクを報告します。
  論文  参考訳（メタデータ） (2021-04-07T17:49:17Z)
• NUBIA: NeUral Based Interchangeability Assessor for Text Generation [0.0]
  NUBIAは、機械学習モデルのみをコアコンポーネントとして用い、テキスト生成のための自動評価指標を構築する手法である。 典型的なNUBIAモデルは、ニューラル特徴抽出器、アグリゲータ、キャリブレータの3つのモジュールで構成されている。 NUBIAの実装は、現在、機械翻訳、要約、そして人間の判断と相関する技術メトリクスの状態をわずかに上回り、評価するために使われている指標より優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-30T10:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。