論文の概要: Diagnosing Model--Item Interactions in Language Model Benchmarks with LSIRM

• arxiv url: http://arxiv.org/abs/2611.02432v1
• Date: Mon, 02 Nov 2026 02:54:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.557582
• Title: Diagnosing Model--Item Interactions in Language Model Benchmarks with LSIRM
• Title（参考訳）: LSIRMを用いた言語モデルベンチマークにおける項目間相互作用の診断
• Abstract要約: 類似のベンチマーク精度を持つ言語モデルは、異なる項目で成功する。 全体的なスコアは、パフォーマンスのどこが違うのか、どのアイテムプロパティがそれらの違いを説明するのかを示すものではない。 我々は5,761個のBBH項目で1,348個の言語モデルを分析する。
• 参考スコア（独自算出の注目度）: 11.275571736511543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models with similar benchmark accuracy can succeed on different items. Overall scores do not show where their performance differs or which item properties might explain those differences. We demonstrate how the latent space item response model (LSIRM) can help evaluators investigate these patterns and their consequences for model comparison. We analyze 1,348 language models on 5,761 BBH items and compare ways of presenting and scoring answers across BBH, GPQA, MMLU-Pro, and MuSR. We examine LSIRM maps, which summarize differences in performance across models and items, alongside item properties and records of correct and incorrect responses. In BBH, nearby items on these maps often share the same correct answer, such as "Yes" or "No." Across the four benchmarks, this pattern is stronger when answers are scored using option labels, such as A, B, C, and D, than when using the text of the options. We then estimate each model's tendency to perform better or worse on items with particular correct answers and quantify how this tendency contributes to its score. This separates an estimated contribution associated with correct answers from the remaining differences in item performance. Two models' total numbers of correct answers differed by only 14 out of 5,761 items. Excluding the estimated answer-category contribution from their scores moved their ranks hundreds of places in opposite directions, while keeping all other estimates unchanged. The approach helps evaluators identify differences hidden by overall accuracy and understand how the choice of what to include in a score affects model rankings.
• Abstract（参考訳）: 類似のベンチマーク精度を持つ言語モデルは、異なる項目で成功する。 全体的なスコアは、パフォーマンスのどこが違うのか、どのアイテムプロパティがそれらの違いを説明するのかを示すものではない。 本研究では,潜時空間アイテム応答モデル(LSIRM)が,これらのパターンとそのモデル比較結果の検証に有効であることを示す。 我々は,5,761個のBBH項目の1,348の言語モデルを分析し,BBH,GPQA,MMLU-Pro,MuSRの回答を提示・スコアリングする方法を比較した。 本稿では,モデルと項目間の性能の相違を要約したLSIRMマップと,正誤応答の記録について検討する。 BBHでは、これらの地図上の近くのアイテムは「Yes」や「No」のように、しばしば同じ正しい答えを共有している。 4つのベンチマークにおいて、このパターンは、A、B、C、Dといったオプションラベルを使って回答を採点した場合、オプションのテキストを使用する場合よりも強い。 次に、特定の正しい回答を持つ項目に対して、各モデルの傾向を良くまたは悪く評価し、この傾向がそのスコアにどのように寄与するかを定量化する。 これは、正しい回答に関連する推定されたコントリビューションと、アイテムのパフォーマンスの残りの違いを分離する。 2つのモデルの正解数は5,761項目中14項目に過ぎなかった。 彼らのスコアから推定された回答カテゴリーの貢献を除いて、彼らのランクは数百の場所を反対方向に移動し、他のすべての見積もりは変わらないままだった。 このアプローチは、評価者が全体的な精度で隠された違いを特定し、スコアに含まれるものの選択がモデルランキングにどのように影響するかを理解するのに役立つ。

関連論文リスト

• Style, Not Self: Surface Cues Explain Zero-Shot Code Attribution by Large Language Models [4.36766480644779]
  5つのLCMはMBPP、HumanEval、DS-1000のソリューションを生成し、さらに7つのMBPP、モデルが4つのタスクで評価器として機能する。 単一解法タスクでは、バランスの取れた精度は15のモデルとベンチマークの組み合わせで49-58%である。 名前付きモデルへの帰属はいくつかのペアで成功し、常に他のペアで逆転する。
  論文  参考訳（メタデータ） (2026-09-24T16:11:21Z)
• Do LiDAR Language Models Really Understand Spatio-temporal Relationships? [62.56505727364142]
  ベンチマークと診断プロトコルであるLiDAR-Halluを150 nusのシーンで紹介する。 提案プロトコルは,固定回答と候補コンテンツ制御,クロスシーンペアを同一のプロンプトで組み合わせるが,参照応答は逆で,リレーショナルなリコールを行う。 記録された10万の応答の分析は、集合的空間精度によって隠された失敗を明らかにする。
  論文  参考訳（メタデータ） (2026-09-21T11:59:07Z)
• A Consensus-Based Framework for Relative Preference Evaluation of Large Language Models [0.0]
  本稿では,絶対的正当性ではなく,モデル生成応答間の相対的嗜好を測定する,コンセンサスに基づく評価フレームワークを提案する。 我々は、プログラミング、一般知識、安全性、論理的推論、数学を含む、複数の領域にわたる最先端のLLMを用いて、制御された研究を行う。 スコアはリレーショナルインテリジェンス指数(RII)に集約され、モデルの反応が他のモデルでどれだけ頻繁に好まれるかを表す。
  論文  参考訳（メタデータ） (2026-07-19T08:59:19Z)
• IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
  命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。 各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。 IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
  論文  参考訳（メタデータ） (2026-03-05T02:21:17Z)
• Adaptive Testing for LLM Evaluation: A Psychometric Alternative to Static Benchmarks [26.89839484242575]
  ATLASは大規模言語モデルの適応テストフレームワークである。 フィッシャー情報誘導項目選択によるモデル能力の推定を行う。 測定精度を維持しながら90%の項目削減を実現している。
  論文  参考訳（メタデータ） (2025-10-26T03:54:12Z)
• EigenBench: A Comparative Behavioral Measure of Value Alignment [0.28707625120094377]
  EigenBenchは、言語モデルの値をベンチマークするためのブラックボックスメソッドである。 合理的な判断者が正しいラベルに同意できない主観的な特性を定量化するように設計されている。 GPQAベンチマークのモデルランキングを、客観的ラベルにアクセスすることなく復元することができる。
  論文  参考訳（メタデータ） (2025-09-02T04:14:26Z)
• BehaviorBox: Automated Discovery of Fine-Grained Performance Differences Between Language Models [55.2480439325792]
  本稿では,性能を考慮した文脈埋め込みを用いた言語モデルの自動比較手法を提案する。 提案手法は,2つのLM間の生成容易性について,その相違点を示すコヒーレントな特徴を抽出する。 本研究では,サイズ,モデルファミリ,ポストトレーニングの異なるモデルを比較し,コーパスレベルの難易度だけでは見つからないパフォーマンスの有意義な違いを示す,特定のコンテキストに対する洞察を列挙する。
  論文  参考訳（メタデータ） (2025-06-02T19:44:06Z)
• Anchor Points: Benchmarking Models with Much Fewer Examples [88.02417913161356]
  6つの人気のある言語分類ベンチマークでは、多数の点の正しいクラスに対するモデル信頼度はモデル間で強く相関している。 Anchor Point Selectionは,データセット全体にわたるモデル動作をキャプチャする,データセットの小さなサブセットを選択する手法である。 平均絶対誤差が低いデータセットの他のすべての点について、クラスごとの予測モデルを推定するために、いくつかのアンカーポイントを使用することができる。
  論文  参考訳（メタデータ） (2023-09-14T17:45:51Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。