論文の概要: LLM Evaluation on Unseen Questions: Contextual Multidimensional IRT Model

• arxiv url: http://arxiv.org/abs/2608.22295v1
• Date: Sun, 23 Aug 2026 08:40:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.71194
• Title: LLM Evaluation on Unseen Questions: Contextual Multidimensional IRT Model
• Title（参考訳）: 未知の質問に対するLLM評価:コンテキスト多次元IRTモデル
• Abstract要約: 本研究では,多次元項目応答理論モデルと質問文脈を組み合わせたモデルに基づく評価フレームワークについて検討する。 シナリオ内評価では,質問の埋め込みを組み込むことで,モデルフリーのベースラインに対する予測が向上することがわかった。 同時に,本研究の結果は,一般化可能性がクロスシナリオシフト下での信頼性予測に必ずしも変換されないという重要な限界を明らかにした。
• 参考スコア（独自算出の注目度）: 0.4669957449088593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluation of large language models (LLMs) increasingly requires predicting how a model will perform on new questions or tasks before collecting large amounts of new annotations. This problem is challenging because question difficulty, scenario, and underlying capability demands can vary substantially. Simple retrospective averages may confound model ability with item characteristics. In this paper, we study a model-based evaluation framework that combines multidimensional item response theory model with question contexts to predict LLM performance on unseen questions. The framework represents LLMs through latent capability profiles while using question content to inform item characteristics, allowing information to transfer beyond previously observed items. Empirically, we find that for within-scenario evaluation, incorporating question embeddings improves prediction relative to model-free baselines, and that multidimensional latent structure provides a richer description of capability variation than unidimensional alternatives. At the same time, our results reveal an important limitation that the generalizability does not necessarily translate into reliable prediction under cross-scenario shift. These findings suggest that context-aware psychometric modeling is a promising direction for efficient and interpretable LLM evaluation, while also highlighting cross-scenario generalization as a central open challenge.
• Abstract（参考訳）: 大規模言語モデル(LLM)の評価では、大量の新しいアノテーションを集める前に、モデルが新しい質問やタスクでどのように機能するかを予測する必要がある。 この問題は、疑問の難しさ、シナリオ、そして根底にある能力要求が大幅に異なる可能性があるため、難しい。 単純なふりかえりの平均は、モデル能力とアイテムの特性を混同することがある。 本稿では,多次元項目応答モデルと質問コンテキストを組み合わせたモデルに基づく評価フレームワークについて検討する。 このフレームワークは、質問内容を使用してアイテム特性を通知し、遅延能力プロファイルを通してLCMを表現し、以前に観察された項目を超えて情報を転送することができる。 実験により, モデルフリーベースラインに対する質問の埋め込みを組み込むことで, モデルフリーベースラインに対する予測が向上し, 多次元潜在構造が一次元の代替よりも機能的変動をよりリッチに記述できることが判明した。 同時に,本研究の結果は,一般化可能性がクロスシナリオシフト下での信頼性予測に必ずしも変換されないという重要な限界を明らかにした。 これらの結果から,文脈認識型心理指標モデリングはLLM評価の効率化と解釈に有望な方向であり,また,クロスシナリオの一般化を中心的オープンチャレンジとして強調することが示唆された。

関連論文リスト

• CLSGen: A Dual-Head Fine-Tuning Framework for Joint Probabilistic Classification and Verbalized Explanation [9.80652710081054]
  CLSGenはバイナリ分類タスクのための新しい微調整フレームワークである。 モデル固有の説明生成能力を犠牲にすることなく、頑健な確率推定を可能にする。 CLSGenで微調整されたモデルは、分類基準において既存のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-04-13T17:58:43Z)
• Do Reasoning Models Ask Better Questions? A Formal Information-Theoretic Analysis on Multi-Turn LLM Games [0.0]
  大きな言語モデル(LLM)は多くのタスクで優れていますが、ユーザの要求のあいまいさを解決するための重要な能力に苦労しています。 本稿では,LLMがイエス/ノー質問を通じてどのように情報を収集するかを定量的に測定する多元対話フレームワークを提案する。 実験により, 評価モデルの中で, 明示的な推論能力を持つモデルでは, ターン当たりのIGが向上し, より少ないステップで解に到達することが実証された。
  論文  参考訳（メタデータ） (2026-01-25T06:38:15Z)
• How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
  大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。 メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:55Z)
• Estimating Knowledge in Large Language Models Without Generating a Single Token [12.913172023910203]
  大規模言語モデル(LLM)における知識を評価するための現在の手法は、モデルをクエリし、生成した応答を評価する。 本研究では,モデルがテキストを生成する前に評価を行うことができるかどうかを問う。 様々なLLMを用いた実験では、内部の主題表現を訓練した単純なプローブであるKEENが、両方のタスクで成功することが示された。
  論文  参考訳（メタデータ） (2024-06-18T14:45:50Z)
• OLMES: A Standard for Language Model Evaluations [64.85905119836818]
  OLMESは、再現可能な言語モデル評価のための文書化された、実用的な、オープンな標準である。 これは、複数の質問の非自然的な「閉じた」定式化を必要とする小さなベースモデル間の有意義な比較をサポートする。 OLMESには、既存の文献の結果によってガイドされた、よく考えられたドキュメント化されたレコメンデーションと、オープンな質問を解決する新しい実験が含まれている。
  論文  参考訳（メタデータ） (2024-06-12T17:37:09Z)
• Optimizing Language Model's Reasoning Abilities with Weak Supervision [48.60598455782159]
  弱い教師付きベンチマークであるtextscPuzzleBen について,25,147 の複雑な質問,回答,人為的合理性からなる。 データセットのユニークな側面は、10,000の未注釈の質問を含めることであり、LLMの推論能力を高めるために、より少ないスーパーサイズのデータを活用することができる。
  論文  参考訳（メタデータ） (2024-05-07T07:39:15Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。