論文の概要: Beyond One-Size-Fits-All: Tailored Benchmarks for Efficient Evaluation

• arxiv url: http://arxiv.org/abs/2502.13576v1
• Date: Wed, 19 Feb 2025 09:31:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:00:59.989837
• Title: Beyond One-Size-Fits-All: Tailored Benchmarks for Efficient Evaluation
• Title（参考訳）: One-Size-Fits-Allを超えて - 効率的な評価のための試行的なベンチマーク
• Authors: Peiwen Yuan, Yueqi Zhang, Shaoxiong Feng, Yiwei Li, Xinglin Wang, Jiayi Shi, Chuyi Tan, Boyuan Pan, Yao Hu, Kan Li,
• Abstract要約: 本論文では,各対象モデルに合わせてカスタマイズした評価を行うTaloredBenchを提案する。 Global-coresetはまず、ターゲットモデル毎に最も一貫性のあるソースモデルを特定するプローブとして構築される。 拡張性のあるK-Medoidsクラスタリングアルゴリズムが提案され、Global-coresetを各ターゲットモデルに適したNative-coresetに拡張する。
• 参考スコア（独自算出の注目度）: 19.673388630963807
• License:
• Abstract: Evaluating models on large benchmarks is very resource-intensive, especially during the period of rapid model evolution. Existing efficient evaluation methods estimate the performance of target models by testing them only on a small and static coreset of the benchmark, which is derived from the publicly available evaluation results of source models. These methods rely on the assumption that target models have high prediction consistency with source models. However, we demonstrate that it doesn't generalize well in practice. To alleviate the inconsistency issue, we present TailoredBench, a method that conducts customized evaluation tailored to each target model. Specifically, a Global-coreset is first constructed as a probe to identify the most consistent source models for each target model with an adaptive source model selection strategy. Afterwards, a scalable K-Medoids clustering algorithm is proposed to extend the Global-coreset to a tailored Native-coreset for each target model. According to the predictions on Native-coresets, we obtain the performance of target models on the whole benchmark with a calibrated estimation strategy. Comprehensive experiments on 5 benchmarks across over 300 models demonstrate that compared to best performing baselines, TailoredBench achieves an average reduction of 31.4% in MAE of accuracy estimates under the same inference budgets, showcasing strong effectiveness and generalizability.
• Abstract（参考訳）: 大規模なベンチマークでモデルを評価することは、特に急速なモデル進化の期間において、非常にリソース集約的である。 既存の評価手法では,ベンチマークの小型で静的なコアセットでのみテストすることで,対象モデルの性能を推定する。 これらの手法は、ターゲットモデルがソースモデルと高い予測整合性を持つという仮定に依存している。 しかし、実際にはうまく一般化していないことを実証する。 不整合を緩和するため,各対象モデルに合わせてカスタマイズした評価を行うTaloredBenchを提案する。 具体的には、まずGlobal-coresetを、適応的なソースモデル選択戦略を用いて、各ターゲットモデルに対して最も一貫性のあるソースモデルを特定するためのプローブとして構成する。 その後、Global-coresetをターゲットモデルごとにカスタマイズされたNative-coresetに拡張するために、スケーラブルなK-Medoidsクラスタリングアルゴリズムが提案されている。 ネイティブコアセットの予測によれば、ベンチマーク全体のターゲットモデルの性能は、キャリブレーションされた推定戦略で得られる。 300以上のモデルにまたがる5つのベンチマークに関する総合的な実験により、TaloredBenchは最高の性能のベースラインと比較して、同一の推論予算下での精度推定の平均31.4%の削減を実現し、強い有効性と一般化性を示している。

関連論文リスト

• A Framework for Efficient Model Evaluation through Stratification, Sampling, and Estimation [17.351089059392674]
  本稿では,階層化,サンプリング,推定を含むモデル評価のためのフレームワークを提案する。 モデル性能の正確な予測に基づいて,k平均クラスタリングによる成層化を行うことで,効率的に推定できることを示す。 また、データセットのラベル付けされていない部分におけるモデル精度の予測を利用するモデル支援推定器は、一般的に従来の推定値よりも効率的であることがわかった。
  論文  参考訳（メタデータ） (2024-06-11T14:49:04Z)
• Selective Mixup Fine-Tuning for Optimizing Non-Decomposable Objectives [17.10165955576643]
  現在の最先端の実証技術は、実用的で非分解不能な性能目標に対して、準最適性能を提供する。 本稿では,SelMixを提案する。SelMixは,事前学習モデルに対して,選択型ミキサアップに基づく安価な微調整技術である。 提案したSelMixファインタニングにより,ベンチマーク間での様々な非分解性目標の性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-27T06:55:23Z)
• Anchor Points: Benchmarking Models with Much Fewer Examples [88.02417913161356]
  6つの人気のある言語分類ベンチマークでは、多数の点の正しいクラスに対するモデル信頼度はモデル間で強く相関している。 Anchor Point Selectionは,データセット全体にわたるモデル動作をキャプチャする,データセットの小さなサブセットを選択する手法である。 平均絶対誤差が低いデータセットの他のすべての点について、クラスごとの予測モデルを推定するために、いくつかのアンカーポイントを使用することができる。
  論文  参考訳（メタデータ） (2023-09-14T17:45:51Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)
• Evaluating Representations with Readout Model Switching [19.907607374144167]
  本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。 我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。 提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
  論文  参考訳（メタデータ） (2023-02-19T14:08:01Z)
• Post-Selection Confidence Bounds for Prediction Performance [2.28438857884398]
  機械学習では、潜在的に多くの競合モデルから有望なモデルを選択し、その一般化性能を評価することが重要な課題である。 本稿では,評価セットの予測性能に基づいて選択された複数のモデルに対して,有効な低信頼境界を求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:28:43Z)
• Model-based metrics: Sample-efficient estimates of predictive model subpopulation performance [11.994417027132807]
  健康状態の表示、診断、予測のために現在一般的に開発されている機械学習モデル$-$は、様々なパフォーマンス指標で評価される。 サブ集団のパフォーマンスメトリクスは、通常、そのサブグループのデータのみを使用して計算されるため、より小さなグループに対する分散推定が高くなる。 本稿では,予測モデルスコアの条件分布を記述した評価モデル$-$を用いて,モデルベース計量(MBM)の推定値を生成する。
  論文  参考訳（メタデータ） (2021-04-25T19:06:34Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。