論文の概要: SkillEval: Learning Interpretable Ability Profiles of LLMs via Cognitive Diagnosis Models

• arxiv url: http://arxiv.org/abs/2610.28767v1
• Date: Tue, 20 Oct 2026 18:06:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.114048
• Title: SkillEval: Learning Interpretable Ability Profiles of LLMs via Cognitive Diagnosis Models
• Title（参考訳）: SkillEval:認知診断モデルによるLCMの解釈能力プロファイルの学習
• Abstract要約: クロスモデル、スキルレベルの分析を行う新しい評価フレームワークであるSkillEvalを提案する。 多様な領域にまたがる5つのベンチマークにおいて,9,523項目で評価された3,811個のLSMについて実験を行った。 SkillEvalは信頼性が高く、校正され、情報化されながら簡潔なモデルプロファイルを生成し、見えないアイテムのモデルの振る舞いをより正確に予測する。
• 参考スコア（独自算出の注目度）: 46.09799227260836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current evaluation of LLMs on benchmarks typically aggregates performance over individual examples into a single scalar score. This approach is overly coarse and ignores the diverse scope of skills covered by benchmark datasets. To address this limitation and better exploit benchmark data, we propose SkillEval, a new evaluation framework that performs cross-model, skill-level analysis. The framework integrates advances from two areas: (1) it leverages the meta-cognitive capabilities of LLMs to automatically discover interpretable skills from questions, and (2) it applies cognitive diagnosis models (CDMs) from psychometrics to estimate per-skill abilities of LLMs. We conduct experiments on 3,811 LLMs evaluated on 9,523 items across five benchmarks spanning diverse domains (MATH, BBH, GPQA, MuSR, IFEval). Compared to the traditional average-based evaluation paradigm, SkillEval produces reliable, more calibrated and informative yet concise model profiles that more accurately predict model behavior on unseen items. We also demonstrate the utility of SkillEval in two downstream tasks: (1) LLM routing, which dynamically assigns each query to a capable but efficient model, reducing inference cost by over 60% while achieving improved performance, and (2) Computerized Adaptive Testing (CAT), where an unseen model can be efficiently evaluated using a trained CDM. Furthermore, we show that these skill profiles provide useful insights, for example, how benchmarks share skills and how instruction-tuned models differ from their base models.
• Abstract（参考訳）: ベンチマークにおけるLLMの現在の評価は、通常、個々のサンプルのパフォーマンスを1つのスカラースコアに集約する。 このアプローチは過度に粗く、ベンチマークデータセットでカバーされるさまざまなスキルの範囲を無視している。 この制限に対処し、ベンチマークデータをうまく活用するために、クロスモデル、スキルレベルの分析を行う新しい評価フレームワークであるSkillEvalを提案する。 本フレームワークは,(1)LLMのメタ認知能力を活用し,質問から解釈可能なスキルを自動的に検出し,(2)心理指標から認知診断モデル(CDM)を適用し,LLMのスキルごとの能力を推定する。 多様な領域(MATH, BBH, GPQA, MuSR, IFEval)にまたがる5つのベンチマークのうち, 9,523項目を対象に評価した3,811個のLSMについて実験を行った。 従来の平均的評価パラダイムと比較すると、SkillEvalは信頼性が高く、校正され、より情報に富んだ、より簡潔なモデルプロファイルを生成し、目に見えないアイテムのモデルの振る舞いをより正確に予測する。 1) LLMルーティングは、各クエリを動的に有能で効率的なモデルに割り当て、性能の向上を図りながら推論コストを60%以上削減し、(2)コンピュータ適応テスト(CAT)では、トレーニング済みのCDMを用いて、不適切なモデルを効率的に評価できる。 さらに、これらのスキルプロファイルは、例えば、ベンチマークがどのようにスキルを共有するか、ベースモデルと命令調整モデルがどのように異なるかなど、有用な洞察を提供する。

関連論文リスト

• Auditing Training Data in Domain-adapted LLMs: LoRA-MINT [15.934462293442792]
  LoRA-MINTは,Low-Rank Adaptation (LoRA) を通じてNLPタスクに微調整された最近のLarge Language Models (LLMs) に適用された新しいメンバシップ推論テスト(MINT)手法である。 第一の目的は、個々のサンプルがこれらの適応モデルのトレーニングデータの一部であったかどうかを評価することであり、知的財産権と機密データの管理に有用な監査ツールを提供することである。
  論文  参考訳（メタデータ） (2026-06-05T06:19:03Z)
• RADAR: Revealing Asymmetric Development of Abilities in MLLM Pre-training [59.493415006017635]
  事前訓練されたマルチモーダル大言語モデル(MLLM)は、ポストトレーニングのための知識豊富な基盤を提供する。 現在の評価は、厳格な追加トレーニングと自己回帰的復号コストを導入する、教師付き微調整後のテストに依存している。 MLLM pRe トレーニングにおける非対称性向上のための効率的な能力中心評価フレームワーク RADAR を提案する。
  論文  参考訳（メタデータ） (2026-02-13T12:56:31Z)
• IQ Test for LLMs: An Evaluation Framework for Uncovering Core Skills in LLMs [27.291294878333765]
  本稿では,因子分析を用いて,ベンチマーク間での潜在スキルの駆動性能を推定する新しい評価パラダイムを提案する。 これらの洞察を、冗長なタスクを識別し、モデル選択を支援し、各潜伏するスキルに沿ってプロファイルモデルをプロファイルする実践的なツールに変換する。
  論文  参考訳（メタデータ） (2025-07-27T10:11:16Z)
• Teach2Eval: An Indirect Evaluation Method for LLM by Judging How It Teaches [46.0474342507327]
  Feynman Techniqueにインスパイアされた間接評価フレームワークであるTeach2Evalを紹介する。 本手法は、より弱い学生モデルにタスクを効果的に実行させるためのモデルの複数の能力を評価する。
  論文  参考訳（メタデータ） (2025-05-18T06:51:10Z)
• Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
  大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。 大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。 従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:09:47Z)
• Efficient Evaluation of Large Language Models via Collaborative Filtering [25.734508624520164]
  大規模言語モデル(LLM)は、異なるLLMの能力を測定し比較するために提案されている。 LLMの評価は、多数のテストインスタンスと遅い推論速度のためにコストがかかる。 与えられたベンチマーク上でモデルの実性能を効率的に推定する2段階手法を提案する。
  論文  参考訳（メタデータ） (2025-04-05T07:46:30Z)
• MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
  MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。 開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。 この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
  論文  参考訳（メタデータ） (2024-11-22T18:59:54Z)
• Benchmark Self-Evolving: A Multi-Agent Framework for Dynamic LLM Evaluation [51.99752147380505]
  本稿では,大規模言語モデル(LLM)を動的に評価するベンチマーク自己進化フレームワークを提案する。 マルチエージェントシステムを用いて、元のインスタンスのコンテキストや質問を操作し、信頼性の高い新しいインスタンスをフレーミングする。 我々のフレームワークは、異なるモデル間の性能の相違を拡大し、様々なタスクで同じモデル内で性能の相違を拡大します。
  論文  参考訳（メタデータ） (2024-02-18T03:40:06Z)
• FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
  FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。 モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
  論文  参考訳（メタデータ） (2023-07-20T14:56:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。