論文の概要: Uncheatable Eval: Dynamic Compression-Based Evaluation of Language Models

• arxiv url: http://arxiv.org/abs/2609.27510v1
• Date: Wed, 23 Sep 2026 08:09:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.938774
• Title: Uncheatable Eval: Dynamic Compression-Based Evaluation of Language Models
• Title（参考訳）: Uncheatable Eval:動的圧縮に基づく言語モデルの評価
• Abstract要約: ベース言語モデルを評価するために,新たに公開されたテキストを収集するベンチマークであるUncheatable Evalを紹介する。 14のテキストカテゴリにまたがる80のモデルを評価し、文脈長による圧縮の変化について検討し、圧縮速度とゼロショットMMLU精度の相関について検討した。 その結果,(1) 圧縮性能はモデルサイズと一貫したスケーリング傾向に従うこと,(2) 注意ベース,ハイブリッド,および繰り返しモデルが異なること,(3) 圧縮速度の低い圧縮速度は高いゼロショットMMLU精度と強く関連していること,の3点が得られた。
• 参考スコア（独自算出の注目度）: 47.30931893220992
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern large language models are pretrained on massive datasets, making it difficult to prevent benchmark data from entering their training sets and undermining the reliability of evaluation results. Reliable evaluation is particularly challenging for base models, whose limited instruction-following ability complicates task-based assessment. We introduce Uncheatable Eval, a dynamic benchmark that regularly collects newly published text to evaluate base language models and reduce the risk of data contamination. Drawing on the relationship between a model's predictive ability and its ability to compress data losslessly, we use compression rate to evaluate how well models predict new text. We evaluate 80 models across 14 text categories, study how compression changes with context length, and examine the correlation between compression rate and zero-shot MMLU accuracy. Our results yield three main findings: (1) compression performance follows a consistent scaling trend with model size; (2) attention-based, hybrid, and recurrent models differ in how their compression performance changes as more context becomes available; and (3) lower compression rates are strongly associated with higher zero-shot MMLU accuracy. Code is available at https://github.com/Jellyfish042/uncheatable_eval.
• Abstract（参考訳）: 現代の大規模言語モデルは、大量のデータセットで事前トレーニングされているため、ベンチマークデータがトレーニングセットに入るのを防ぎ、評価結果の信頼性を損なうことは困難である。 命令追従能力の制限がタスクベースアセスメントを複雑にするベースモデルでは,信頼性の高い評価が特に難しい。 本研究では,新しいテキストを定期的に収集してベース言語モデルを評価し,データ汚染のリスクを低減する動的ベンチマークであるUncheatable Evalを紹介する。 モデルの予測能力とデータを損失なく圧縮する能力の関係を図り、圧縮率を用いて、モデルがいかに新しいテキストを予測するかを評価する。 14のテキストカテゴリにまたがる80のモデルを評価し、文脈長による圧縮の変化について検討し、圧縮速度とゼロショットMMLU精度の相関について検討した。 その結果,(1) 圧縮性能はモデルサイズと一貫したスケーリング傾向に従うこと,(2) 注意ベース,ハイブリッド,および繰り返しモデルが異なること,(3) 圧縮速度の低い圧縮速度は高いゼロショットMMLU精度と強く関連していること,の3点が得られた。 コードはhttps://github.com/Jellyfish042/uncheatable_eval.comから入手できる。

関連論文リスト

• Lossless Compression: A New Benchmark for Time Series Model Evaluation [20.540426615530556]
  時系列モデルを評価するための新しいパラダイムとしてロスレス圧縮を導入する。 この観点は、最適圧縮長と負の対数類似度との直接同値性を確立する。 我々は,包括的評価フレームワークTSCom-Benchを提案し,オープンソース化する。
  論文  参考訳（メタデータ） (2025-09-25T10:52:48Z)
• Ranking LLMs by compression [13.801767671391604]
  圧縮の先駆けとして5つの大きな言語モデルを使用し、課題のある自然言語処理タスクのパフォーマンスを比較します。 実験の結果,圧縮比とモデル性能は正の相関関係にあることが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-20T10:23:38Z)
• Evaluating Large Language Models for Generalization and Robustness via Data Compression [19.17779153163157]
  本稿では,データ圧縮に基づく評価手法を提案する。 具体的には、2017年から2023年までの83ヶ月にわたる包括的なテストデータを収集し、モデルのトレーニングデータ遮断に従って、データをトレーニングとテスト期間に分割します。 実験では、ウィキペディア、ニュース記事、コード、arXiv論文、マルチモーダルデータなど、様々な規模の大言語モデル14を検証した。
  論文  参考訳（メタデータ） (2024-02-01T18:56:18Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• CrAM: A Compression-Aware Minimizer [103.29159003723815]
  本稿では、CrAMと呼ばれる新しい圧縮対応最小化器を提案し、最適化ステップを原則的に修正する。 CrAMは、標準のSGD/アダムベースベースラインよりも精度が高い密度のモデルを生成するが、重量計算では安定である。 CrAMは、転送学習のためにうまく機能するスパースモデルを生成することができ、GPUハードウェアでサポートされている半構造化の2:4プルーニングパターンでも機能する。
  論文  参考訳（メタデータ） (2022-07-28T16:13:28Z)
• What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
  本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。 本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。 サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
  論文  参考訳（メタデータ） (2021-10-16T00:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。