論文の概要: AllMetrics: A Unified Python Library for Standardized Metric Evaluation and Robust Data Validation in Machine Learning

• arxiv url: http://arxiv.org/abs/2505.15931v1
• Date: Wed, 21 May 2025 18:36:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.867335
• Title: AllMetrics: A Unified Python Library for Standardized Metric Evaluation and Robust Data Validation in Machine Learning
• Title（参考訳）: AllMetrics: マシンラーニングにおける標準化されたメトリクス評価とロバストデータバリデーションのための統一Pythonライブラリ
• Authors: Morteza Alizadeh, Mehrdad Oveisi, Sonya Falahati, Ghazal Mousavi, Mohsen Alambardar Meybodi, Somayeh Sadat Mehrnia, Ilker Hacihaliloglu, Arman Rahmim, Mohammad R. Salmanpour,
• Abstract要約: さまざまな機械学習タスクのメトリクス評価を標準化するために設計された,オープンソースの統一PythonライブラリであるAllMetricsを紹介した。 このライブラリは、すべてのユースケースをカバーするパラメータを通して、マルチクラスタスクのクラス固有のレポートを実装している。 医療、金融、不動産といった分野のさまざまなデータセットを私たちのライブラリに適用し、Python、Matlab、Rコンポーネントと比較しました。
• 参考スコア（独自算出の注目度）: 2.325084918639609
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning (ML) models rely heavily on consistent and accurate performance metrics to evaluate and compare their effectiveness. However, existing libraries often suffer from fragmentation, inconsistent implementations, and insufficient data validation protocols, leading to unreliable results. Existing libraries have often been developed independently and without adherence to a unified standard, particularly concerning the specific tasks they aim to support. As a result, each library tends to adopt its conventions for metric computation, input/output formatting, error handling, and data validation protocols. This lack of standardization leads to both implementation differences (ID) and reporting differences (RD), making it difficult to compare results across frameworks or ensure reliable evaluations. To address these issues, we introduce AllMetrics, an open-source unified Python library designed to standardize metric evaluation across diverse ML tasks, including regression, classification, clustering, segmentation, and image-to-image translation. The library implements class-specific reporting for multi-class tasks through configurable parameters to cover all use cases, while incorporating task-specific parameters to resolve metric computation discrepancies across implementations. Various datasets from domains like healthcare, finance, and real estate were applied to our library and compared with Python, Matlab, and R components to identify which yield similar results. AllMetrics combines a modular Application Programming Interface (API) with robust input validation mechanisms to ensure reproducibility and reliability in model evaluation. This paper presents the design principles, architectural components, and empirical analyses demonstrating the ability to mitigate evaluation errors and to enhance the trustworthiness of ML workflows.
• Abstract（参考訳）: 機械学習(ML)モデルは、その有効性を評価し比較するために、一貫性のある正確なパフォーマンス指標に大きく依存する。 しかし、既存のライブラリは、しばしば断片化、一貫性のない実装、不十分なデータ検証プロトコルに悩まされ、信頼性の低い結果をもたらす。 既存のライブラリは独立して開発され、特にサポートしようとする特定のタスクに関して、統一された標準に従わずに開発されている。 その結果、各ライブラリはメートル法計算、入出力フォーマット、エラーハンドリング、データ検証プロトコルの規約を採用する傾向にある。 この標準化の欠如は、実装の違い(ID)と報告の違い(RD)の両方をもたらす。 これらの問題に対処するため、私たちは、レグレッション、分類、クラスタリング、セグメンテーション、イメージ・ツー・イメージ翻訳など、さまざまなMLタスクのメトリクス評価を標準化するために設計された、オープンソースの統一PythonライブラリであるAllMetricsを紹介した。 このライブラリは、すべてのユースケースをカバーするために設定可能なパラメータを通して、マルチクラスタスクのクラス固有のレポートを実装している。 医療、ファイナンス、不動産といった分野のさまざまなデータセットを私たちのライブラリに適用し、Python、Matlab、Rコンポーネントと比較して、同様の結果が得られるかを特定しました。 AllMetricsは、モジュール化されたアプリケーションプログラミングインタフェース(API)と堅牢な入力検証メカニズムを組み合わせることで、モデル評価における再現性と信頼性を保証する。 本稿では、評価エラーを軽減し、MLワークフローの信頼性を高める能力を示す設計原則、アーキテクチャコンポーネント、実証分析について述べる。

関連論文リスト

• Statistical Uncertainty Quantification for Aggregate Performance Metrics in Machine Learning Benchmarks [0.0]
  複数のタスクにまたがって集約されたメトリクスの不確かさを定量化するために,統計的手法がいかに用いられるかを示す。 これらの技術は、全体的なパフォーマンスが劣っているにもかかわらず、特定のタスクに対する特定のモデルの優位性のような洞察を浮き彫りにする。
  論文  参考訳（メタデータ） (2025-01-08T02:17:34Z)
• Commit0: Library Generation from Scratch [77.38414688148006]
  Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。 エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。 Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
  論文  参考訳（メタデータ） (2024-12-02T18:11:30Z)
• Are Large Language Models Memorizing Bug Benchmarks? [6.640077652362016]
  大規模言語モデル(LLM)は、コード生成、バグ検出、修復など、様々なソフトウェアエンジニアリングタスクに不可欠なものになっている。 ソフトウェアエンジニアリングコミュニティの懸念は、ベンチマークがデータ漏洩のリスクのため、真のLLMパフォーマンスを確実に反映していないことだ。 一般的なLSMを系統的に評価し、広く使われているバグベンチマークからデータ漏洩に対する感受性を評価する。
  論文  参考訳（メタデータ） (2024-11-20T13:46:04Z)
• Towards Realistic Evaluation of Commit Message Generation by Matching Online and Offline Settings [77.20838441870151]
  オンラインメトリック - VCSに生成されたメッセージをコミットする前にユーザが導入する編集回数 - を使用して、オフライン実験用のメトリクスを選択します。 我々は,GPT-4が生成したコミットメッセージと,人間の専門家が編集したコミットメッセージからなる57対のデータセットを収集した。 以上の結果から,編集距離が最も高い相関性を示すのに対し,BLEUやMETEORなどの類似度は低い相関性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-10-15T20:32:07Z)
• Threshold-Consistent Margin Loss for Open-World Deep Metric Learning [42.03620337000911]
  画像検索にDeep Metric Learning (DML) で使われている既存の損失は、しばしば非均一なクラス内およびクラス間表現構造に繋がる。 不整合はしばしば、商用画像検索システムを展開する際のしきい値選択過程を複雑にする。 クラス間の動作特性の分散を定量化するOPIS(Operating-Point-Inconsistency-Score)と呼ばれる,新しい分散に基づく尺度を提案する。
  論文  参考訳（メタデータ） (2023-07-08T21:16:41Z)
• Variable Importance Matching for Causal Inference [73.25504313552516]
  これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。 Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。 LASSO を用いて Model-to-Match フレームワークを運用する。
  論文  参考訳（メタデータ） (2023-02-23T00:43:03Z)
• Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors [105.12462629663757]
  本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。 本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
  論文  参考訳（メタデータ） (2022-05-25T15:26:48Z)
• SacreROUGE: An Open-Source Library for Using and Developing Summarization Evaluation Metrics [74.28810048824519]
  SacreROUGEは、要約評価メトリクスの使用と開発のためのオープンソースライブラリである。 このライブラリは、既存の評価メトリクスの公式実装に関するPythonラッパーを提供する。 ライブラリに実装されたメトリックが、人間による注釈付き判断とどの程度の相関があるかを評価する機能を提供する。
  論文  参考訳（メタデータ） (2020-07-10T13:26:37Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。