論文の概要: Less is more: Not all samples are effective for evaluation

• arxiv url: http://arxiv.org/abs/2601.03272v1
• Date: Mon, 22 Dec 2025 08:04:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-11 18:48:17.58883
• Title: Less is more: Not all samples are effective for evaluation
• Title（参考訳）: すべてのサンプルが評価に有効であるとは限らない
• Authors: Wentang Song, Jinqiang Li, Kele Huang, Junhui Lin, Shengxiang Wu, Zhongshi Xie,
• Abstract要約: 既存の圧縮法は、全テストセットで評価された複数の履歴モデルの正当性ラベルに依存する。 従来のモデルの性能データを必要としない履歴のないテストセット圧縮フレームワークを提案する。 提案手法は, 余剰サンプルを効果的に同定・除去し, 評価コストを90%以上削減する。
• 参考スコア（独自算出の注目度）: 1.6456338609651404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The versatility of Large Language Models (LLMs) in vertical domains has spurred the development of numerous specialized evaluation benchmarks. However, these benchmarks often suffer from significant semantic redundancy and impose high computational costs during evaluation. Existing compression methods, such as tinyBenchmarks depend critically on correctness labels from multiple historical models evaluated on the full test set, making them inapplicable in cold-start scenarios, such as the introduction of a new task, domain, or model with no prior evaluation history. To address this limitation, we propose a history-free test set compression framework that requires no prior model performance data. Our method begins by fine-tuning a base LLM on a small amount of domain-specific data to internalize task-relevant semantics. It then generates high-level semantic embeddings for all original test samples using only their raw textual content. In this domain-adapted embedding space, we perform task-aware clustering and introduce a novel dataset X-ray mechanism that analyzes cluster geometry to dynamically calibrate the compression intensity based on the intrinsic redundancy of the benchmark. Experiments on professional-domain dataset, notably a large-scale 3GPP communications benchmark, demonstrate that our approach effectively identifies and removes redundant samples, reducing evaluation cost by over 90% while preserving high fidelity to the full benchmark.
• Abstract（参考訳）: 垂直領域におけるLarge Language Models(LLM)の汎用性は、数多くの専門評価ベンチマークの開発を刺激している。 しかしながら、これらのベンチマークは、しばしば意味的冗長性に悩まされ、評価中に高い計算コストを課す。 littleBenchmarkのような既存の圧縮手法は、完全なテストセットで評価された複数の履歴モデルの正しさラベルに批判的に依存しており、新しいタスクやドメイン、事前評価履歴のないモデルの導入など、コールドスタートシナリオでは適用できない。 この制限に対処するために,先行モデルの性能データを必要としない履歴のないテストセット圧縮フレームワークを提案する。 本手法は,タスク関連セマンティクスを内部化するために,少数のドメイン固有データに基づいてベースLSMを微調整することから始まる。 その後、生のテキストコンテンツのみを使用して、すべての元のテストサンプルに対して高いレベルのセマンティック埋め込みを生成する。 この領域適応型埋め込み空間では、タスク対応クラスタリングを行い、クラスタ幾何学を分析して、ベンチマークの固有の冗長性に基づいて圧縮強度を動的に校正する新しいデータセットX線機構を導入する。 大規模な3GPP通信ベンチマークであるプロフェッショナルドメインデータセットの実験では,提案手法は冗長なサンプルを効果的に識別・除去し,評価コストを90%以上削減すると共に,ベンチマーク全体の忠実度を維持した。

関連論文リスト

• Scales++: Compute Efficient Evaluation Subset Selection with Cognitive Scales Embeddings [23.9553588103042]
  本稿では,タスク項目自体の本質的な特性に基づいて選択を行うことを論じ,サブセット選択をベンチマークする項目中心のアプローチを提案する。 Scales++は、競争力のある予測忠実性を達成しながら、事前選択コストを18倍以上削減します。 この項目中心のアプローチは,忠実度を著しく低下させることなく,より効率的なモデル評価を可能にすることを実証する。
  論文  参考訳（メタデータ） (2025-10-30T11:28:58Z)
• Rethinking LLM Evaluation: Can We Evaluate LLMs with 200x Less Data? [82.09573568241724]
  EssenceBenchは反復遺伝的アルゴリズム(GA)を利用した粗粒度フレームワーク 提案手法は, 再構成誤差が低く, 効率が著しく向上した, 優れた圧縮結果が得られる。 HellaSwagベンチマーク(10Kサンプル)では,25倍少ないサンプルを用いて,全モデルが5%以内の順位を保ち,わずか200倍少ないサンプルを用いて,95%未満のランキング保持シフトを達成している。
  論文  参考訳（メタデータ） (2025-10-12T05:38:10Z)
• TestAgent: Automatic Benchmarking and Exploratory Interaction for Evaluating LLMs in Vertical Domains [19.492393243160244]
  大規模言語モデル(LLM)は、高度に専門化された垂直ドメインにデプロイされることが多い。 既存の垂直領域の評価は、通常、静的な単一ターンデータセットの労働集約的な構築に依存している。 垂直領域における自動ベンチマークと探索動的評価のためのフレームワークであるTestAgentを提案する。
  論文  参考訳（メタデータ） (2024-10-15T11:20:42Z)
• LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
  我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。 LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。 ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
  論文  参考訳（メタデータ） (2024-10-14T17:51:23Z)
• Learning Feature Inversion for Multi-class Anomaly Detection under General-purpose COCO-AD Benchmark [101.23684938489413]
  異常検出(AD)は、しばしば産業品質検査や医学的病変検査のための異常の検出に焦点が当てられている。 この研究はまず、COCOをADフィールドに拡張することにより、大規模で汎用的なCOCO-ADデータセットを構築する。 セグメンテーション分野のメトリクスにインスパイアされた我々は、より実用的なしきい値に依存したAD固有のメトリクスをいくつか提案する。
  論文  参考訳（メタデータ） (2024-04-16T17:38:26Z)
• Automating Dataset Updates Towards Reliable and Timely Evaluation of Large Language Models [81.27391252152199]
  大規模言語モデル(LLM)は、さまざまな自然言語ベンチマークで素晴らしいパフォーマンスを実現している。 本稿では、データセットの自動更新と、その有効性に関する体系的な分析を提案する。 1) 類似したサンプルを生成するための戦略を模倣すること,2) 既存のサンプルをさらに拡張する戦略を拡張すること,である。
  論文  参考訳（メタデータ） (2024-02-19T07:15:59Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• Small but Mighty: New Benchmarks for Split and Rephrase [18.959219419951083]
  Split and Rephraseは、複雑な文をシンプルに書き換えるテキスト単純化タスクである。 広く使われているベンチマークデータセットは、簡単に利用できる構文的手がかりを普遍的に含んでいることがわかった。 単純なルールベースモデルであっても,最先端モデルと同等に動作可能であることを示す。
  論文  参考訳（メタデータ） (2020-09-17T23:37:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。