論文の概要: Zipbench: Low-Cost Framework for Compressing Comprehensive Benchmarks of Large Language Models
- arxiv url: http://arxiv.org/abs/2609.12475v1
- Date: Fri, 11 Sep 2026 06:15:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.64147
- Title: Zipbench: Low-Cost Framework for Compressing Comprehensive Benchmarks of Large Language Models
- Title（参考訳）: Zipbench: 大規模言語モデルの包括的なベンチマークを圧縮するための低コストフレームワーク
- Abstract要約: ZipBenchは,大規模言語モデル(LLM)のためのシンプルで低コストなベンチマークスイートである。
ZipBenchは、少数のアンカーLLMのみを評価し、擬似評価結果を合成してカバレッジを広げ、コンパクトなサンプル表現を学習し、小さいが代表的なサブセットを選択する。
ZipBench Zooは、テキスト、マルチモーダル、エージェントタスクにまたがる100以上のベンチマークプロキシのコンパクトバージョンのコレクションである。
- 参考スコア（独自算出の注目度）: 27.700132797675007
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Comprehensive benchmark suites are essential for improving large language models (LLMs), but many widely used benchmarks are redundant, making evaluation unnecessarily expensive. Although recent benchmark compression methods (BCMs) can mitigate this cost, many strong BCMs rely on large collections of per-sample evaluation results from numerous LLMs to identify representative samples. Building such collections is also expensive unless they are already public, making these methods difficult to extend to newly released benchmarks. To address this challenge, we present ZipBench, a simple and low-cost BCM with theoretical error and rank-consistency guarantees. ZipBench evaluates only a small set of anchor LLMs, synthesizes pseudo evaluation results to broaden coverage, learns compact sample representations, and selects a small yet representative subset. Building on it, we create ZipBench Zoo, a collection of compact versions of 100+ benchmark proxies spanning text, multimodal, and agent tasks. These benchmark achieve mean absolute errors of 0.002--0.02 and average Spearman correlations of ~0.98 with the full benchmarks. Overall, ZipBench reduces the cost of both LLM evaluation and compact benchmark construction, lowering the barrier to broad LLM research for compute-constrained researchers. The code has been released in https://github.com/MilkThink-Lab/ZipBench.
- Abstract（参考訳）: 包括的なベンチマークスイートは、大きな言語モデル(LLM)を改善するのに不可欠であるが、広く使われているベンチマークの多くは冗長であり、不必要にコストがかかる。
最近のベンチマーク圧縮法(BCM)はこのコストを軽減できるが、多くの強力なBCMはサンプルごとの評価結果の大規模な収集に頼っている。
このようなコレクションの構築は、既に公開されていない限り、コストもかかるため、これらのメソッドを新しくリリースされたベンチマークに拡張することは困難である。
この課題に対処するために,理論誤差とランク一貫性を保証する簡易かつ低コストなBCMZipBenchを提案する。
ZipBenchは、少数のアンカーLLMのみを評価し、擬似評価結果を合成してカバレッジを広げ、コンパクトなサンプル表現を学習し、小さいが代表的なサブセットを選択する。
ZipBench Zooは、テキスト、マルチモーダル、エージェントタスクにまたがる100以上のベンチマークプロキシのコンパクトバージョンのコレクションです。
これらのベンチマークは0.002--0.02の平均絶対誤差を達成し、スピアマン平均相関は0.98である。
ZipBenchは、LLM評価とコンパクトなベンチマーク構築の両方のコストを削減し、計算制約のある研究者の幅広いLLM研究の障壁を低くする。
コードはhttps://github.com/MilkThink-Lab/ZipBench.comで公開されている。
関連論文リスト
- SCDBench: A Benchmark for LLM-Based Smart Contract Decompilers [55.39407031861402]
本稿では,スマートコントラクトデコンパイルのためのデータセットとベンチマーク手法であるSCDBenchを紹介する。
データセットには600の現実のSolidityコントラクトと、ペア化されたバイトコード入力、地味なソースコード、再生可能なセマンティックチェックポイントが含まれている。
我々は,GLM-5の変種を含むゼロショット逆コンパイル設定において,Claude Opus 4.7,GPT-5.3-Codex,GLM-5を評価した。
論文 参考訳（メタデータ） (2026-05-27T20:08:47Z) - DEP: A Decentralized Large Language Model Evaluation Protocol [51.3646001384887]
分散評価プロトコル(Decentralized Evaluation Protocol, DEP)は、分散化されているが統一され、標準化された評価フレームワークである。
ユーザ、LLM、ベンチマークを分離することで、DEPはモジュラー、プラグ・アンド・プレイの評価を可能にする。
我々は,ブレークポイントの再開,同時要求,混雑制御などの機能をサポートするプロトコル互換ツールキットであるDEP Toolkitを開発した。
論文 参考訳（メタデータ） (2026-03-01T16:10:16Z) - Rethinking LLM Evaluation: Can We Evaluate LLMs with 200x Less Data? [82.09573568241724]
EssenceBenchは反復遺伝的アルゴリズム(GA)を利用した粗粒度フレームワーク
提案手法は, 再構成誤差が低く, 効率が著しく向上した, 優れた圧縮結果が得られる。
HellaSwagベンチマーク(10Kサンプル)では,25倍少ないサンプルを用いて,全モデルが5%以内の順位を保ち,わずか200倍少ないサンプルを用いて,95%未満のランキング保持シフトを達成している。
論文 参考訳（メタデータ） (2025-10-12T05:38:10Z) - How Much Do Large Language Model Cheat on Evaluation? Benchmarking Overestimation under the One-Time-Pad-Based Framework [8.76693832650115]
大規模言語モデル(LLM)を評価する際の過大評価が懸念されている。
本稿では,暗号におけるワンタイムパッド暗号化にインスパイアされた動的評価フレームワークArxivRollを提案する。
論文 参考訳（メタデータ） (2025-07-25T12:39:03Z) - LLM-Powered Benchmark Factory: Reliable, Generic, and Efficient [19.673388630963807]
我々は,4次元と10の基準で構成された,自動的かつ偏りのない評価フレームワークを提案する。
本フレームワークでは,大規模言語モデル(LLM)を汎用ベンチマークジェネレータとして直接プロンプトする利点と弱点を解析する。
次に、識別された弱点に対処し、それらをBenchMakerとして統合する一連の方法を紹介します。
実験により、BenchMakerは、すべてのメトリクスにおいて、人による注釈付きベンチマークよりも優れた、あるいは同等のパフォーマンスを達成することが確認された。
論文 参考訳（メタデータ） (2025-02-02T06:36:01Z) - metabench -- A Sparse Benchmark of Reasoning and Knowledge in Large Language Models [5.972993094932516]
大きな言語モデル(LLM)は、様々なタスクでその能力が異なる。
これらのベンチマークを測る共通基盤能力の小さなセットがあることが示される。
スパースベンチマークであるメタベンチを蒸留し、これらは6つのベンチマークの原サイズの3%以下である。
論文 参考訳（メタデータ） (2024-07-04T17:57:38Z) - MixEval: Deriving Wisdom of the Crowd from LLM Benchmark Mixtures [57.886592207948844]
市販のベンチマークを戦略的に混合することにより,効率的な金標準評価を実現するための新しいパラダイムであるMixEvalを提案する。
提案手法は,(1)包括的でよく分散された実世界のユーザクエリと(2)Webから抽出したクエリと,既存のベンチマークからの類似したクエリとをマッチングすることによって,効率よく,かつ,かなり改善された基盤トラスベースのベンチマークを橋渡しする。
論文 参考訳（メタデータ） (2024-06-03T05:47:05Z) - tinyBenchmarks: evaluating LLMs with fewer examples [42.95407654805037]
Open LLM Leaderboard、MMLU、HELM、AlpacaEval 2.0。
実験により,これらのツールと小さなベンチマークは,元の評価結果を確実かつ効率的に再現するのに十分であることを実証した。
論文 参考訳（メタデータ） (2024-02-22T22:05:23Z) - Linear-time Minimum Bayes Risk Decoding with Reference Aggregation [52.1701152610258]
最小ベイズリスク(MBR、Minimum Bayes Risk)は、機械翻訳の品質向上を図ったテキスト生成技術である。
これは2次複雑性を持つ実用計量のペアワイズ計算を必要とする。
本稿では,集約された参照表現に対して計算したスコアを用いて,ペアワイズメトリックスコアを近似する。
論文 参考訳（メタデータ） (2024-02-06T18:59:30Z) - LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。
ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。
最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文 参考訳（メタデータ） (2023-05-23T21:50:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。