論文の概要: Uncovering Competency Gaps in Large Language Models and Their Benchmarks

• arxiv url: http://arxiv.org/abs/2512.20638v1
• Date: Sat, 06 Dec 2025 17:39:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-29 00:37:57.108068
• Title: Uncovering Competency Gaps in Large Language Models and Their Benchmarks
• Title（参考訳）: 大規模言語モデルにおけるコンピテンシーギャップとそのベンチマーク
• Authors: Matyas Bohacek, Nino Scherrer, Nicholas Dufour, Thomas Leung, Christoph Bregler, Stephanie C. Y. Chan,
• Abstract要約: 本稿では,スパースオートエンコーダ(SAE)を用いて,両方のギャップを自動的に発見する手法を提案する。 我々は、モデルが、サイコファンティックな振る舞いとは対照的な概念に一貫して劣っていることを発見した。 提案手法は,ベンチマークスコアの概念レベルの分解を可能にするため,評価のための表現的アプローチを提供する。
• 参考スコア（独自算出の注目度）: 11.572508874955659
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The evaluation of large language models (LLMs) relies heavily on standardized benchmarks. These benchmarks provide useful aggregated metrics for a given capability, but those aggregated metrics can obscure (i) particular sub-areas where the LLMs are weak ("model gaps") and (ii) imbalanced coverage in the benchmarks themselves ("benchmark gaps"). We propose a new method that uses sparse autoencoders (SAEs) to automatically uncover both types of gaps. By extracting SAE concept activations and computing saliency-weighted performance scores across benchmark data, the method grounds evaluation in the model's internal representations and enables comparison across benchmarks. As examples demonstrating our approach, we applied the method to two popular open-source models and ten benchmarks. We found that these models consistently underperformed on concepts that stand in contrast to sycophantic behaviors (e.g., politely refusing a request or asserting boundaries) and concepts connected to safety discussions. These model gaps align with observations previously surfaced in the literature; our automated, unsupervised method was able to recover them without manual supervision. We also observed benchmark gaps: many of the evaluated benchmarks over-represented concepts related to obedience, authority, or instruction-following, while missing core concepts that should fall within their intended scope. In sum, our method offers a representation-grounded approach to evaluation, enabling concept-level decomposition of benchmark scores. Rather than replacing conventional aggregated metrics, CG complements them by providing a concept-level decomposition that can reveal why a model scored as it did and how benchmarks could evolve to better reflect their intended scope. Code is available at https://competency-gaps.github.io.
• Abstract（参考訳）: 大規模言語モデル(LLM)の評価は、標準化されたベンチマークに大きく依存している。 これらのベンチマークは、与えられた能力に対して有用な集約されたメトリクスを提供するが、これらの集計されたメトリクスは曖昧である可能性がある。 i) LLMが弱い部分領域(「モデルギャップ」)で、 (i)ベンチマーク自体の非バランスなカバレッジ("benchmark gaps")。 本稿では,スパースオートエンコーダ(SAE)を用いて,両方のギャップを自動的に発見する手法を提案する。 SAEの概念のアクティベーションを抽出し、ベンチマークデータ間でのサリエンシ重み付きパフォーマンススコアを計算することにより、モデルの内部表現の評価を基礎とし、ベンチマーク間での比較を可能にする。 このアプローチを実証する例として、この手法を2つの人気のあるオープンソースモデルと10のベンチマークに適用した。 これらのモデルは、シコファン的行動(例えば、要求を丁寧に拒否したり、境界を主張したり)や安全性に関する議論に関連する概念とは対照的に、一貫して性能が劣っていることがわかった。 これらのモデルギャップは、以前に文献に現れた観測結果と一致しており、自動化された教師なしの手法は手動による監督なしにそれらを回復することができた。 評価されたベンチマークの多くは、服従、権威、命令追従に関する過剰に表現された概念であり、一方で、意図されたスコープに収まるべきコア概念が欠落している。 要約すると,提案手法は,ベンチマークスコアの概念レベルの分解を可能にするために,評価に対する表現的アプローチを提供する。 CGは従来の集約されたメトリクスを置き換えるのではなく、なぜモデルが得点したのか、ベンチマークがどのように進化して彼らの意図したスコープをよりよく反映するかを明らかにする概念レベルの分解を提供することで、それらを補完する。 コードはhttps://competency-gaps.github.ioで公開されている。

関連論文リスト

• Reference-Specific Unlearning Metrics Can Hide the Truth: A Reality Check [60.77691669644931]
  本研究では,非学習モデルと参照モデル間の分布類似度を測定する新しい尺度であるFADE(Functional Alignment for Distributional Equivalence)を提案する。 FADEは出力分布全体の機能的アライメントをキャプチャし、真の未学習の原則的評価を提供する。 これらの知見は、現在の評価実践における根本的なギャップを明らかにし、FADEが真に効果的な未学習手法を開発し評価するための、より堅牢な基盤を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-14T20:50:30Z)
• VAL-Bench: Measuring Value Alignment in Language Models [10.745372809345412]
  大きな言語モデル(LLM)は、出力が人間の決定を形作るタスクにますます使われています。 既存のベンチマークは、主に拒否や事前定義された安全違反を追跡するが、モデルが一貫性のある価値システムを保持するかどうかを明らかにしない。 VAL-Bench(Value ALignment Benchmark)を導入し、モデルが公開討論の両面において安定的な価値スタンスを維持しているかどうかを評価する。
  論文  参考訳（メタデータ） (2025-10-06T23:55:48Z)
• Benchmark Profiling: Mechanistic Diagnosis of LLM Benchmarks [34.09939383415074]
  ベンチマークプロファイリングは、ベンチマークのパフォーマンスを10の認知的基盤を持つ能力に分解する。 パフォーマンス向上がユーザ認識能力に必ずしも変換されない理由を説明する。
  論文  参考訳（メタデータ） (2025-09-23T15:32:47Z)
• Where is this coming from? Making groundedness count in the evaluation of Document VQA models [12.951716701565019]
  一般的な評価指標は、モデルの出力のセマンティックおよびマルチモーダルな基礎性を考慮しない。 本稿では,予測の基盤性を考慮した新しい評価手法を提案する。 提案手法は,ユーザが好みに応じてスコアを設定できるようにパラメータ化されている。
  論文  参考訳（メタデータ） (2025-03-24T20:14:46Z)
• Beyond the Singular: The Essential Role of Multiple Generations in Effective Benchmark Evaluation and Analysis [10.133537818749291]
  大規模言語モデル(LLM)は、現実世界のアプリケーションにおいて重要なユーティリティを実証している。 LLMの能力を評価するにはベンチマーク評価が不可欠である。
  論文  参考訳（メタデータ） (2025-02-13T03:43:33Z)
• Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
  モデル信頼性の定量化について検討する。 信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。 我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
  論文  参考訳（メタデータ） (2025-02-05T18:58:19Z)
• A Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attributions [60.06461883533697]
  まず、属性手法の信頼性ベンチマークが満たすであろう信頼度基準のセットを同定する。 次に、望ましい忠実度基準に準拠したBackdoorベースのeXplainable AIベンチマーク(BackX)を紹介します。 我々の分析はまた、属性を利用して神経トロイの木馬を守るための洞察を提供する。
  論文  参考訳（メタデータ） (2024-05-02T13:48:37Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Not All Metrics Are Guilty: Improving NLG Evaluation by Diversifying References [123.39034752499076]
  Div-Refは、参照数を増やして評価ベンチマークを強化する方法である。 本研究では,参照表現の多様化が自動評価と人的評価の相関性を大幅に向上させることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-05-24T11:53:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。