論文の概要: Statistical multi-metric evaluation and visualization of LLM system predictive performance

• arxiv url: http://arxiv.org/abs/2501.18243v1
• Date: Thu, 30 Jan 2025 10:21:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:15:28.360607
• Title: Statistical multi-metric evaluation and visualization of LLM system predictive performance
• Title（参考訳）: LLMシステム予測性能の統計的マルチメトリック評価と可視化
• Authors: Samuel Ackerman, Eitan Farchi, Orna Raz, Assaf Toledo,
• Abstract要約: 生成的あるいは識別的大言語モデル(LLM)に基づくシステムの評価は、しばしば複雑な多次元問題である。 正確な統計的テストを自動的に実行し、メトリクスやデータセット間で統計結果を適切に集計し、結果を視覚化するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 2.429790972808522
• License:
• Abstract: The evaluation of generative or discriminative large language model (LLM)-based systems is often a complex multi-dimensional problem. Typically, a set of system configuration alternatives are evaluated on one or more benchmark datasets, each with one or more evaluation metrics, which may differ between datasets. We often want to evaluate -- with a statistical measure of significance -- whether systems perform differently either on a given dataset according to a single metric, on aggregate across metrics on a dataset, or across datasets. Such evaluations can be done to support decision-making, such as deciding whether a particular system component change (e.g., choice of LLM or hyperparameter values) significantly improves performance over the current system configuration, or, more generally, whether a fixed set of system configurations (e.g., a leaderboard list) have significantly different performances according to metrics of interest. We present a framework implementation that automatically performs the correct statistical tests, properly aggregates the statistical results across metrics and datasets (a nontrivial task), and can visualize the results. The framework is demonstrated on the multi-lingual code generation benchmark CrossCodeEval, for several state-of-the-art LLMs.
• Abstract（参考訳）: 生成的あるいは識別的大言語モデル(LLM)に基づくシステムの評価は、しばしば複雑な多次元問題である。 通常、システム構成の代替案のセットは、1つ以上のベンチマークデータセットで評価され、それぞれが1つ以上の評価指標を持ち、データセット間で異なる可能性がある。 システムは、特定のデータセットに対して、単一のメトリックに従って、データセット上のメトリクスをまたいで、あるいはデータセット間で、異なる方法で実行するかどうかを、統計的に評価したいとよく思っています。 例えば、特定のシステムコンポーネントの変更(例えば、LLMまたはハイパーパラメータ値の選択)が、現在のシステム構成よりもパフォーマンスを著しく改善するか、あるいはより一般的には、固定されたシステム構成(例えば、リーダーボードリスト)が、興味のある指標に応じて著しく異なるパフォーマンスを持つかを判断するなどである。 本稿では,正確な統計的テストを自動的に実行し,メトリクスやデータセット(非自明なタスク)に統計結果を適切に集約し,結果を可視化するフレームワークの実装を提案する。 このフレームワークは多言語コード生成ベンチマークであるCrossCodeEvalでデモされている。

関連論文リスト

• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• How to Evaluate Entity Resolution Systems: An Entity-Centric Framework with Application to Inventor Name Disambiguation [1.7812428873698403]
  本稿では,要約統計をモニタリングする統合フレームワークと統合したエンティティ中心のデータラベリング手法を提案する。 これらのベンチマークデータセットは、モデルトレーニングやさまざまな評価タスクに使用できる。
  論文  参考訳（メタデータ） (2024-04-08T15:53:29Z)
• Benchmark Self-Evolving: A Multi-Agent Framework for Dynamic LLM Evaluation [51.99752147380505]
  本稿では,大規模言語モデル(LLM)を動的に評価するベンチマーク自己進化フレームワークを提案する。 マルチエージェントシステムを用いて、元のインスタンスのコンテキストや質問を操作し、信頼性の高い新しいインスタンスをフレーミングする。 我々のフレームワークは、異なるモデル間の性能の相違を拡大し、様々なタスクで同じモデル内で性能の相違を拡大します。
  論文  参考訳（メタデータ） (2024-02-18T03:40:06Z)
• What are the best systems? New perspectives on NLP Benchmarking [10.27421161397197]
  そこで本研究では,各タスクのパフォーマンスに基づいて,システムにランク付けする新しい手法を提案する。 社会的選択理論によって動機付けられ、各タスクによって誘導されるランクを集約することで最終システム順序付けが得られる。 本手法は, 平均集約法とは異なる, 最先端システム上での結論を導出することを示す。
  論文  参考訳（メタデータ） (2022-02-08T11:44:20Z)
• Measuring Disparate Outcomes of Content Recommendation Algorithms with Distributional Inequality Metrics [5.74271110290378]
  我々は,経済学,分布不平等指標,およびTwitterのアルゴリズム・タイムラインにおけるコンテンツ露出の差異を測定する能力から,一連の指標を評価した。 これらのメトリクスを用いて、ユーザ間の歪んだ結果に強く寄与するコンテンツ提案アルゴリズムを特定できることを示す。
  論文  参考訳（メタデータ） (2022-02-03T14:41:39Z)
• An Extensible Benchmark Suite for Learning to Simulate Physical Systems [60.249111272844374]
  我々は、統一されたベンチマークと評価プロトコルへの一歩を踏み出すために、一連のベンチマーク問題を導入する。 本稿では,4つの物理系と,広く使用されている古典的時間ベースおよび代表的なデータ駆動手法のコレクションを提案する。
  論文  参考訳（メタデータ） (2021-08-09T17:39:09Z)
• The Benchmark Lottery [114.43978017484893]
  ベンチマーク宝くじ」は、機械学習ベンチマークプロセスの全体的な脆弱さを記述している。 アルゴリズムの相対的性能は、異なるベンチマークタスクを選択するだけで大幅に変化する可能性がある。
  論文  参考訳（メタデータ） (2021-07-14T21:08:30Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• Group Heterogeneity Assessment for Multilevel Models [68.95633278540274]
  多くのデータセットは固有のマルチレベル構造を含む。 この構造を考慮に入れることは、そのようなデータ上で行われた統計分析の正確性と校正にとって重要である。 本稿では,データ内のグループ化変数のレベルの違いを効率的に評価するフレキシブルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-05-06T12:42:04Z)
• StackGenVis: Alignment of Data, Algorithms, and Models for Stacking Ensemble Learning Using Performance Metrics [4.237343083490243]
  機械学習(ML)では、バッグング、ブースティング、スタックングといったアンサンブル手法が広く確立されている。 StackGenVisは、スタック化された一般化のためのビジュアル分析システムである。
  論文  参考訳（メタデータ） (2020-05-04T15:43:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。