論文の概要: HoloCosm: Beyond Single-Metric Benchmark Compression Across Multiple Metrics
- arxiv url: http://arxiv.org/abs/2610.26714v1
- Date: Mon, 19 Oct 2026 16:47:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 01:48:16.297196
- Title: HoloCosm: Beyond Single-Metric Benchmark Compression Across Multiple Metrics
- Title（参考訳）: HoloCosm: 複数のメトリクスにわたるシングルメトリックベンチマーク圧縮を超えて
- Abstract要約: 本稿では,ランキングの歪みを抑えながら,ソースモデルとメトリクス間の正規化スコア再構成誤差を最小限に抑えるHoloCosmを提案する。
我々は,HoloCosmを15言語,マルチモーダル,VLA,エージェントベンチマークなど,85のパラメータを持つ複数の圧縮速度で評価した。
- 参考スコア（独自算出の注目度）: 68.34740823532404
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Benchmark compression reduces evaluation cost by selecting a small set of samples. Existing methods typically guide selection using a single metric, although benchmarks often assess models along multiple dimensions. We find that model rankings are often weakly correlated across metrics, indicating that different metrics capture distinct aspects of model performance. Samples selected for one metric do not reliably preserve scores and rankings on others when used for compressed evaluation. At 80\% compression, each of the five single-metric baselines yields higher reconstruction error than equal-size random sampling in over 70\% of cross-metric comparisons. To address this challenge, we present HoloCosm, which jointly minimizes normalized score-reconstruction error across source models and metrics while constraining ranking distortion. We evaluate HoloCosm across multiple compression rates on 15 language, multimodal, VLA, and agent benchmark configurations with 85 component metrics. With 80\% compression, HoloCosm outperforms Random, the strongest baseline overall: average NMAE drops by 35.3\% to 0.236, worst-component NMAE drops by 39.5\% to 0.330, and average Spearman correlation rises from 0.884 to 0.915. In addition, HoloCosm remains competitive with existing baselines in single-metric evaluation. We will release our code and experimental results.
- Abstract（参考訳）: ベンチマーク圧縮は、少数のサンプルを選択して評価コストを削減する。
既存の方法は通常、単一のメトリックを使用して選択をガイドするが、ベンチマークはしばしば複数の次元に沿ったモデルを評価する。
モデルランキングは、しばしばメトリクス間で弱い相関関係にあり、異なるメトリクスがモデルパフォーマンスの異なる側面を捉えていることを示している。
1つのメートル法で選択されたサンプルは、圧縮された評価に使用する場合、他の指標のスコアやランキングを確実に保持しない。
80 %の圧縮では、5つのシングルメトリックベースラインのそれぞれが、70 %以上のクロスメトリック比較において、等サイズのランダムサンプリングよりも高い再構成誤差をもたらす。
この課題に対処するため,HoloCosmを提案する。HoloCosmはソースモデルとメトリクス間の正規化スコア再構成誤差を最小化し,ランキングの歪みを抑える。
我々は,HoloCosmを15言語,マルチモーダル,VLA,エージェントベンチマークなど,85のパラメータを持つ複数の圧縮速度で評価した。
80 %の圧縮で、HoloCosm はRandom を上回り、平均 NMAE は 35.3 % から 0.236 に、最悪の NMAE は 39.5 % から 0.330 に、平均 Spearman の相関は 0.884 から 0.915 に上昇する。
さらに、HoloCosmはシングルメトリック評価において既存のベースラインと競合し続けている。
コードと実験結果をリリースします。
関連論文リスト
- Capability Scaling-Down Laws for LLM Compression [57.14348517864116]
我々は, LLM圧縮のスケールダウン法則を, 刈り込み, 定量化, 蒸留にまたがって検討した。
我々のフレームワークは、数学、コード生成、質問応答における能力損失を測定する。
我々は単純な予測関係を構築し、その精度、測定効率、および未知の構成やモデル状態への一般化を評価する。
論文 参考訳（メタデータ） (2026-10-01T20:35:12Z) - Bounded Precision-Geometry Scaling for Robust Multi-Task Learning under Loss Scale Mismatch [0.0]
マルチタスク学習はしばしば数桁の損失を組み合わせ、ホモシステマティックな不確実性重み付けが著しく低下する。
バッチ損失統計に固定された有界シグモノイドパラメータ化により各タスクのログ分散をマッピングする手法である境界精度幾何スケーリング(BPGS)を提案する。
BPGSを合成応力試験と実世界の3つのベンチマークで評価した: NYUv2高密度予測、Yeast多ラベル分類、RF1多ターゲット回帰。
論文 参考訳（メタデータ） (2026-08-21T21:48:51Z) - Agentic Autoresearch for CT Reconstruction [6.987253902215927]
5月低用量CT(ノイズリミット)と128ビュースパースビュー乳房タスクで26の手法をベンチマークした。
訓練された乳房モデルはすべて、再訓練せずにノイズ入力で再検査され、一致した雑音で別々に再訓練された。
ベンチマークは1つの勝者ではなく、統計的に区別できないトップメソッドの層を提供する。
論文 参考訳（メタデータ） (2026-07-24T18:03:21Z) - Output-Space Allocation Costs for Calibration-Guided LLM Compression: An Empirical Study [19.413175066072302]
大規模言語モデル(LLM)の訓練不要圧縮法は、圧縮決定を導くのに校正データを使用することが多い。
ROCKETは,スパースディファクチャリファクチャライゼーションとマルチチョイス・クナップサック問題(MCKP)アロケーションを組み合わせた最近の手法で,出力再構成目標から層ごとのファクチャリゼーションを導出する。
出力空間の目的と割り当てコストを一致させることで、圧縮モデル忠実度が向上するかどうかを検討する。
論文 参考訳（メタデータ） (2026-06-26T07:15:17Z) - Average Rankings Mask Per-Subject Optimality: A Friedman-Nemenyi Benchmark of EEG Motor-Imagery BCI Decoders [0.0]
1,056のデコード構成と340,000の主観レベルモデルを評価した。
すべてのモデルは、単一の参加者の1つのセッションで適合し、テストされます。
最も簡単な体制でも、単一のパイプラインが支配的になることはない。
論文 参考訳（メタデータ） (2026-06-23T10:26:27Z) - Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。
選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。
これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
論文 参考訳（メタデータ） (2026-04-20T00:57:31Z) - Rethinking LLM Evaluation: Can We Evaluate LLMs with 200x Less Data? [82.09573568241724]
EssenceBenchは反復遺伝的アルゴリズム(GA)を利用した粗粒度フレームワーク
提案手法は, 再構成誤差が低く, 効率が著しく向上した, 優れた圧縮結果が得られる。
HellaSwagベンチマーク(10Kサンプル)では,25倍少ないサンプルを用いて,全モデルが5%以内の順位を保ち,わずか200倍少ないサンプルを用いて,95%未満のランキング保持シフトを達成している。
論文 参考訳（メタデータ） (2025-10-12T05:38:10Z) - Ensemble Threshold Calibration for Stable Sensitivity Control [0.0]
本稿では,数千万組の幾何対もの幾何に対して,過度に分散した正確なリコールを実現するエンド・ツー・エンドのフレームワークを提案する。
我々のアプローチは、小さなエラーで常にリコールターゲットにヒットし、他のキャリブレーションと比較して冗長な検証を減らし、単一のTPU v3コア上でエンドツーエンドで実行します。
論文 参考訳（メタデータ） (2025-10-02T15:22:28Z) - BUMP: A Benchmark of Unfaithful Minimal Pairs for Meta-Evaluation of
Faithfulness Metrics [70.52570641514146]
不誠実な最小対 (BUMP) のベンチマークを示す。
BUMPは、889人の人間が書いた最小限のサマリーペアのデータセットである。
非ペアベースのデータセットとは異なり、BUMPはメトリクスの一貫性を測定するために使用することができる。
論文 参考訳（メタデータ） (2022-12-20T02:17:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。