Fugu-MT 論文翻訳(概要): Lost in Aggregation: How Benchmarks Overlook Irreplaceable Model Strengths

論文の概要: Lost in Aggregation: How Benchmarks Overlook Irreplaceable Model Strengths

arxiv url: http://arxiv.org/abs/2608.18919v1
Date: Wed, 19 Aug 2026 13:51:05 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-20 20:13:55.409629
Title: Lost in Aggregation: How Benchmarks Overlook Irreplaceable Model Strengths
Title（参考訳）: 集約における損失 - ベンチマークはどのようにして非置換可能なモデルの強度を見落としているか
Abstract要約: ベンチマーク評価は、データ中心のピークパフォーマンスフロンティアも考慮すべきである、と我々は主張する。このフレームワークをTabArenaベンチマークに適用すると、共通集約メトリクスは極めて相関性が高いことが分かる。
参考スコア（独自算出の注目度）: 23.84195042261017
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Tabular machine learning benchmarks typically summarize performance by averaging scores, ranks, or pairwise wins across datasets. Such aggregates are useful for selecting robust default models, but they can obscure a different question: which models are necessary to attain peak performance on particular datasets? We argue that benchmark evaluation should also consider the data-centric peak performance frontier, defined by the best statistically supported performance achieved on each dataset. From this perspective, a model may be irreplaceable, sufficient, redundant, or fallible depending on where it lies on the frontier relative to other models. Applying this framework to the TabArena benchmark, we find that common aggregation metrics are highly correlated and largely measure consistency and avoiding failures, while being much less aligned with dataset-level irreplaceability. Consequently, models performing decently across datasets without ever being the best choice are rewarded while models with unique dataset-specific strengths appear mediocre under aggregation. Hence, benchmark progress should be measured not only by improvements on aggregation metrics but also by whether new models expand the set of attainable peak performances across datasets.
Abstract（参考訳）: タブラル機械学習ベンチマークは、一般的に、データセット全体のスコア、ランク、ペアの勝利を平均化することでパフォーマンスを要約する。このような集約は、堅牢なデフォルトモデルを選択するのに有用だが、異なる疑問:特定のデータセットでピークパフォーマンスを達成するのに、どのモデルが必要なのか? ベンチマーク評価は、各データセットで達成された最も統計的に支援されたパフォーマンスによって定義される、データ中心のピークパフォーマンスフロンティアも考慮すべきである、と我々は主張する。この観点では、モデルは、他のモデルと比較してフロンティアのどこにあるかによって、置き換えられない、十分な、冗長、またはフォールブルであるかもしれない。このフレームワークをTabArenaベンチマークに適用すると、共通集約メトリクスは極めて相関性が高く、一貫性を測り、障害を回避すると同時に、データセットレベルの非置換性と整合性がはるかに低いことが分かります。その結果、ベストチョイスのないデータセット間で適切に実行されるモデルに報酬が与えられ、独自のデータセット固有の強みを持つモデルはアグリゲーションの下で中途半端に見えます。したがって、ベンチマークの進捗は、集約メトリクスの改善だけでなく、新しいモデルがデータセット全体で達成可能なピークパフォーマンスのセットを拡張するかどうかによって測定されるべきである。

関連論文リスト

IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。 IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
論文参考訳（メタデータ） (2026-03-05T02:21:17Z)
Estimating Time Series Foundation Model Transferability via In-Context Learning [74.65355820906355]
時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
論文参考訳（メタデータ） (2025-09-28T07:07:13Z)
KG-EDAS: A Meta-Metric Framework for Evaluating Knowledge Graph Completion Models [0.0]
知識グラフ(KG)を評価する上での大きな課題は、複数のデータセットとメトリクスのパフォーマンスを比較することだ。我々は,平均解からの距離に基づくKG評価を提案し,マルチメトリック・マルチデータセットのパフォーマンスを統一的なランキングに組み込む。 EDASは、より情報のあるモデル選択をサポートし、データセット間の評価において公平性を促進するグローバルな視点を提供する。
論文参考訳（メタデータ） (2025-08-21T08:37:35Z)
MultiTab: A Comprehensive Benchmark Suite for Multi-Dimensional Evaluation in Tabular Domains [4.126887977388267]
我々は,多次元データ認識分析のためのベンチマークスイートと評価フレームワークであるMultiTabを提案する。集約されたモデルのみを比較するのではなく、MultiTabは主要なデータ特性に沿って、196の公開データセットを分類する。分析の結果、モデルの性能はそのような状況に非常に敏感であることがわかった。
論文参考訳（メタデータ） (2025-05-20T13:00:43Z)
Relation Extraction or Pattern Matching? Unravelling the Generalisation Limits of Language Models for Biographical RE [18.616344314400244]
関係抽出モデルは、類似した領域内であっても、目に見えないデータと競合することを示す。我々の結果は、語彙的類似性ではなく、データ品質がロバスト転送の鍵であることを示しています。
論文参考訳（メタデータ） (2025-05-18T20:22:14Z)
Benchmarking community drug response prediction models: datasets, models, tools, and metrics for cross-dataset generalization analysis [36.689210473887904]
本稿では,ディープラーニング(DL)モデルと機械学習(ML)モデルにおけるデータセット間予測の一般化を評価するためのベンチマークフレームワークを提案する。絶対的なパフォーマンス(データセット間での予測精度など)と相対的なパフォーマンス(例えば、データセット内の結果と比較してパフォーマンス低下)の両方を定量化します。本結果は,厳密な一般化評価の重要性を浮き彫りにして,未知のデータセット上でモデルをテストする場合の大幅な性能低下を明らかにした。
論文参考訳（メタデータ） (2025-03-18T15:40:18Z)
Rethinking Relation Extraction: Beyond Shortcuts to Generalization with a Debiased Benchmark [53.876493664396506]
ベンチマークは、機械学習アルゴリズムのパフォーマンスの評価、比較の促進、優れたソリューションの特定に不可欠である。本稿では,関係抽出タスクにおけるエンティティバイアスの問題に対処する。本稿では,エンティティの代替によって,エンティティ参照と関係型との擬似相関を破る不偏関係抽出ベンチマークDREBを提案する。 DREBの新たなベースラインを確立するために,データレベルとモデルトレーニングレベルを組み合わせたデバイアス手法であるMixDebiasを導入する。
論文参考訳（メタデータ） (2025-01-02T17:01:06Z)
Tabular Data Generation Models: An In-Depth Survey and Performance Benchmarks with Extensive Tuning [2.855894241049707]
16個のデータセットに対する広範囲なベンチマークにより,データセット固有のチューニングが表型データ生成のための最新の5つのモデルファミリに与える影響について検討した。我々のベンチマークは、ほとんどのモデルにおいて、大規模データセット固有のチューニングが元の構成よりも大幅に性能を向上することを示した。
論文参考訳（メタデータ） (2024-06-18T07:27:38Z)
Anchor Points: Benchmarking Models with Much Fewer Examples [88.02417913161356]
6つの人気のある言語分類ベンチマークでは、多数の点の正しいクラスに対するモデル信頼度はモデル間で強く相関している。 Anchor Point Selectionは,データセット全体にわたるモデル動作をキャプチャする,データセットの小さなサブセットを選択する手法である。平均絶対誤差が低いデータセットの他のすべての点について、クラスごとの予測モデルを推定するために、いくつかのアンカーポイントを使用することができる。
論文参考訳（メタデータ） (2023-09-14T17:45:51Z)
Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文参考訳（メタデータ） (2021-06-01T22:33:53Z)
Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。