論文の概要: RepBench: Compiling Benchmarks into Capability Representations for Large Language Models
- arxiv url: http://arxiv.org/abs/2607.28008v1
- Date: Thu, 30 Jul 2026 10:56:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.517723
- Title: RepBench: Compiling Benchmarks into Capability Representations for Large Language Models
- Title（参考訳）: RepBench: ベンチマークを大規模言語モデルの能力表現にコンパイルする
- Abstract要約: RepBenchは、機能整合型表現探索のためのベンチマーク地上データ層である。
13,427のベンチマーク論文は、13の家系で182の能力クラスタの分類を出力し、353の公開ベンチマークデータセットを収集すると、94の能力をカバーする46,149の監査済みプローブテキストが生成される。
- 参考スコア（独自算出の注目度）: 5.276992083399684
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Representation engineering reads and steers capability directions in large language models, yet methods are typically evaluated on paper-specific synthetic data. The resulting measurements are difficult to compare or reproduce and may reflect surface patterns rather than capabilities. We present RepBench, a benchmark-grounded data layer for capability-aligned representation probing. Crawling 13,427 benchmark papers yields a taxonomy of 182 capability clusters in 13 families; harvesting 353 public benchmark datasets yields 46,149 audited probe texts covering 94 capabilities, each supported by at least two independent benchmarks. This multi-benchmark design reduces dependence on any single source: raw per-text vectors exhibit no natural cluster granularity, whereas benchmark-pooled capability vectors show an interior clustering optimum at a small number of clusters on all 12 evaluated models, with low agreement to the human taxonomy. Under cross-benchmark transfer evaluation across twelve models completed by all four readouts, difference-in-means attains the highest model-level mean on ten models, while logistic regression wins the most capability-model cells. This disagreement shows that the readout method and aggregation criterion are meaningful evaluation dimensions. The pipeline, corpus, and evaluation code are released as a reusable closed-loop workflow.
- Abstract（参考訳）: 表現工学は大きな言語モデルで読み書きと操舵能力の方向性を示すが、典型的には紙固有の合成データで評価される。
得られた測定結果は比較や再現が困難であり、能力よりも表面パターンを反映する可能性がある。
提案するRepBenchは,機能整合型表現探索のためのベンチマーク地上データ層である。
13,427のベンチマーク論文は、13のファミリーで182の能力クラスタの分類を出力し、353の公開ベンチマークデータセットを収集すると、94の能力をカバーする46,149の監査されたプローブテキストが、それぞれ少なくとも2つの独立したベンチマークによってサポートされている。
原文毎のベクトルは自然なクラスタの粒度を示さないが、ベンチマークプールされた機能ベクトルは、人間の分類にはあまり一致せず、評価された12モデルすべてにおいて、少数のクラスタで内部のクラスタリングが最適であることを示している。
4つの読み出しで完了した12モデル間でのクロスベンチマーク転送評価では、差分平均値が10モデルで最高となるのに対して、ロジスティック回帰は最も能力の高いモデルセルに勝利する。
この不一致は、読み出し方法と集約基準が有意義な評価次元であることを示している。
パイプライン、コーパス、評価コードは再利用可能なクローズドループワークフローとしてリリースされている。
関連論文リスト
- PhenoBench: Mapping What a Deeply Phenotyped Human Cohort Can Tell Us [0.7084863262134483]
我々は、Human Phenotype Projectを中心に構築された実行可能なベンチマークであるPhenoBenchを紹介する。
このベンチマークでは、15のドメインと26の入力モダリティで90の臨床的根拠を持つタスクを定義している。
測定結果から, 肯定的, ほぼゼロ的, 否定的変化を含む, 疑似および表現依存的予測値が得られた。
論文 参考訳（メタデータ） (2026-09-05T13:15:40Z) - A Statistical Audit of Physical AI Benchmark Redundancy [0.0]
物理AIモデルは、モデルレポートによって異なるベンチマークスイートで評価され、モデルバイベンチマークマトリックスはスパースのままである。
51のベンチマークと152のモデルのレジストリから,12の物理AIベンチマーク上に51モデルの行列を構築した。
ベンチマークがどの程度の情報を共有しているかを測定し、冗長性の定量的な証拠を示す。
論文 参考訳（メタデータ） (2026-08-26T15:54:15Z) - PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。
14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
論文 参考訳（メタデータ） (2026-07-02T10:59:03Z) - An Embarrassingly Simple Graph Heuristic Reveals Shortcut-Solvable Benchmarks for Sequential Recommendation [50.09718257952108]
Sequentialsolvは、シーケンシャルなパターンとセマンティックなアイテム情報を組み合わせたジェネレーティブなレコメンデーターへと移行している。
これらの手法は、しばしば、広く使われている少数のベンチマークで評価され、重要な疑問を提起する: これらのベンチマークは、現代のジェネレーティブレコメンデーターが提供しようとしている高度なモデリング機能を必要としているか?
我々は、意図的な単純なグラフでベンチマーク監査を行い、最後の1つか2つの項目から、数ホップの項目遷移グラフから候補を検索し、項目間類似度でランク付けする。
論文 参考訳（メタデータ） (2026-05-08T02:00:11Z) - GIANTS: Generative Insight Anticipation from Scientific Literature [84.95947892931142]
本稿では、下流紙のコアインサイトを基礎となる親論文から予測する世代課題であるインサイト予測を導入する。
実測値と実測値の類似性を評価するLM判定器を用いてモデル評価を行い,これらの類似性スコアが有能な人間の評価値と相関していることを示す。
GIANTS-4Bは、強化学習(RL)を用いて訓練されたLMで、これらの類似度スコアをプロキシ報酬として用いた洞察予測を最適化する。
論文 参考訳（メタデータ） (2026-04-10T18:13:55Z) - BenchBench: Benchmarking Automated Benchmark Generation [10.44497524694021]
BenchBenchは、自動ベンチマーク生成をベンチマークするためのパイプラインとデータセットである。
我々は16.7Kアイテムを生成し、15Kコアアイテムをポストフィルタに保持し、152Kグレードのモデル-イテム応答を生成する。
論文 参考訳（メタデータ） (2026-03-21T13:05:32Z) - Learning More from Less: Unlocking Internal Representations for Benchmark Compression [37.69575776639016]
異種隠蔽状態を統一潜在空間に整列させて代表コアセットを構成するREPCOREを導入する。
5つのベンチマークと200以上のモデルの実験は、ランキングの相関と推定精度において、出力ベースラインよりも一貫した利得を示している。
論文 参考訳（メタデータ） (2026-01-31T13:11:39Z) - Benchmark^2: Systematic Evaluation of LLM Benchmarks [66.2731798872668]
3つの相補的なメトリクスからなる包括的なフレームワークであるBenchmark2を提案する。
数学、推論、知識ドメインにまたがる15のベンチマークで実験を行います。
本分析により,既存のベンチマーク間での有意な品質変化が明らかとなり,選択的なベンチマーク構築が同等な評価性能を達成できることが示されている。
論文 参考訳（メタデータ） (2026-01-07T14:59:03Z) - Beyond One-Size-Fits-All: Tailored Benchmarks for Efficient Evaluation [19.673388630963807]
本論文では,各対象モデルに合わせてカスタマイズした評価を行うTaloredBenchを提案する。
Global-coresetはまず、ターゲットモデル毎に最も一貫性のあるソースモデルを特定するプローブとして構築される。
拡張性のあるK-Medoidsクラスタリングアルゴリズムが提案され、Global-coresetを各ターゲットモデルに適したNative-coresetに拡張する。
論文 参考訳（メタデータ） (2025-02-19T09:31:50Z) - CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。
ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
論文 参考訳（メタデータ） (2025-02-12T21:42:56Z) - Anchor Points: Benchmarking Models with Much Fewer Examples [88.02417913161356]
6つの人気のある言語分類ベンチマークでは、多数の点の正しいクラスに対するモデル信頼度はモデル間で強く相関している。
Anchor Point Selectionは,データセット全体にわたるモデル動作をキャプチャする,データセットの小さなサブセットを選択する手法である。
平均絶対誤差が低いデータセットの他のすべての点について、クラスごとの予測モデルを推定するために、いくつかのアンカーポイントを使用することができる。
論文 参考訳（メタデータ） (2023-09-14T17:45:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。