論文の概要: TIDE: Tree-Induced Fine-Grained Diagnostic Evaluation from Model Behaviors

• arxiv url: http://arxiv.org/abs/2610.29985v1
• Date: Wed, 21 Oct 2026 16:27:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.408211
• Title: TIDE: Tree-Induced Fine-Grained Diagnostic Evaluation from Model Behaviors
• Title（参考訳）: TIDE:モデル行動による樹木の微細粒度診断
• Abstract要約: 木誘導診断評価は, 微粒な機能診断を行うための行動駆動決定木誘導としての診断評価を再放送する。 TIDEを4つのベンチマークで5つのモデルに適用し、その効果を実証する。 TIDEを過去と将来のベンチマークに拡張して、評価結果におけるリッチな行動信号がモデル機能の理解に完全に活用されることを願っている。
• 参考スコア（独自算出の注目度）: 63.6722033955159
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchmark performance is the dominant standard for comparing large language models (LLMs), typically summarized by a single aggregate score, such as accuracy, pass rate, or rubric score. This aggregate score provides limited information about a model's underlying capabilities, yet understanding these capabilities is crucial for model development and evaluation. To this end, we propose Tree-Induced Diagnostic Evaluation (TIDE), which recasts diagnostic evaluation as behavior-driven decision-tree induction to perform fine-grained capability diagnosis. TIDE recursively builds a hierarchical capability tree from benchmark samples and model scores: at each node, an LLM judge proposes candidate splits and performs sample-to-group classification, and behavior-based information gain selects among them. We apply TIDE to five models across four benchmarks to demonstrate its effectiveness, and find fine-grained capability contrasts invisible at the aggregate level: Claude Opus 4.6 achieves 100% on microeconomic market reasoning where GPT-5.4 scores 83.3%, but trails GPT-5.4 on contract law reasoning with 77.8% versus 88.9%. We hope TIDE can be extended to past and future benchmarks so that the rich behavioral signal in evaluation results is fully leveraged for understanding model capabilities.
• Abstract（参考訳）: ベンチマーク性能は、大言語モデル(LLM)の比較において支配的な標準であり、通常は1つの集計スコア(精度、パスレート、ルーリックスコアなど)で要約される。 この集計スコアは、モデルの基礎となる機能に関する限られた情報を提供しますが、これらの機能を理解することは、モデルの開発と評価に不可欠です。 そこで本研究では,詳細な機能診断を行うために,評価結果を行動駆動決定木誘導として再放送するツリー誘導診断評価(TIDE)を提案する。 TIDEは、ベンチマークサンプルとモデルスコアから階層的な機能ツリーを再帰的に構築する。各ノードにおいて、LCM判事が候補分割を提案し、サンプルグループ分類を行い、行動に基づく情報を取得する。 クロードオプス4.6は、GPT-5.4が83.3%、契約法ではGPT-5.4が77.8%対88.9%であるマイクロ経済市場推論において100%を達成するが、契約法ではGPT-5.4が77.8%である。 TIDEを過去と将来のベンチマークに拡張して、評価結果におけるリッチな行動信号がモデル機能の理解に完全に活用されることを願っている。

関連論文リスト

• Selecting Open-Weight Language Models for Zero-Shot Intent Classification: A Systematic Evaluation of 41 Models [0.0]
  15の家系にまたがる41のオープンウェイト言語モデルと135M--9Bパラメータ範囲の体系的ゼロショット評価を行った。 我々は,信頼性キャリブレーション,現実的な入力摂動に対する堅牢性,モデルランキングの統計的信頼性,デプロイメント効率,ベンチマーク飽和度を分析した。 これらの知見は、意図分類のためのオープンウェイト言語モデルの選択と評価のための実践的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-07-29T19:42:33Z)
• Position: Evaluation Scores Are Perishable Knowledge Claims [0.0]
  評価スコアは、形式性、スコープ、妥当性の3つの特性を持つクレームとして扱われるべきである。 HELMリーダーボードにおける平均アグリゲーションのコストについて説明する。
  論文  参考訳（メタデータ） (2026-07-28T18:50:39Z)
• CRAFT: Clustering Rubrics to Diagnose Weak LLM Capabilities and Generate Targeted Fine-Tuning Data [19.182280292507844]
  CRAFTは、あらゆるルーブリックに基づく評価データセットを、弱い能力のモデル固有の診断に変換する方法である。 各プロンプトルーリックペアから機能記述を抽出し、各ノードでターゲットモデルをスコアし、ツリーレベルの低パフォーマンスノードを動的に選択する。 温度復号を繰り返して4モデルすべてに対して最強のファイナンスドメイン平均を達成する。
  論文  参考訳（メタデータ） (2026-07-17T17:00:38Z)
• Can We Trust Item Response Theory for AI Evaluation? [10.509963423246974]
  AIベンチマークは、アイテムレベルの統計モデルを活用して、能力の推定、ランクシステム、情報的サンプルの選択、ベンチマーク品質の診断を行う。 IRTツールは当初、人間のテスト用に開発されたが、AIベンチマークには、スキューやクラスタ化、マルチモーダルといった、より少ないモデル、はるかに多くのアイテム、能力分布が含まれることが多い。 本研究では、これらの制度が、AI評価のためのIRTモデリングの信頼性にどのように不適合しているかを検討する。
  論文  参考訳（メタデータ） (2026-07-16T16:44:40Z)
• Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
  わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。 選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。 これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
  論文  参考訳（メタデータ） (2026-04-20T00:57:31Z)
• Beyond Scores: Diagnostic LLM Evaluation via Fine-Grained Abilities [21.946544253237793]
  大規模言語モデルの現在の評価は、様々なタスクにまたがるパフォーマンスを単一のスコアに集約する。 このギャップを動機として,複数のきめ細かな次元にまたがるモデル能力を推定する認知診断フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-14T01:48:22Z)
• Language Model Preference Evaluation with Multiple Weak Evaluators [89.90733463933431]
  PGEDは,複数のモデルに基づく評価器を用いて嗜好グラフを構築し,非循環的非競合性評価結果に対してこれらのグラフをアンサンブルし,デノテーズする手法である。 1)評価のためのモデルランキング、2)テスト時間スケーリングのための応答選択、3)モデル微調整のためのデータ選択である。
  論文  参考訳（メタデータ） (2024-10-14T01:57:25Z)
• How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources [117.6496550359768]
  この研究は、オープンな命令追従データセットにおける命令チューニング言語モデルの最近の進歩を探求する。 我々は、12の命令データセットに基づいて訓練された6.7Bから65Bのパラメータを含む、命令調整されたモデルの大規模なセットを提供する。 それらの事実的知識、推論、多言語性、コーディング、そしてその後に続くオープン・エンド・インストラクションに基づいて評価する。
  論文  参考訳（メタデータ） (2023-06-07T19:59:23Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Improving Visual Grounding by Encouraging Consistent Gradient-based Explanations [58.442103936918805]
  注意マスク整合性は,従来の方法よりも優れた視覚的グラウンドリング結果が得られることを示す。 AMCは効率的で実装が容易であり、どんな視覚言語モデルでも採用できるため一般的である。
  論文  参考訳（メタデータ） (2022-06-30T17:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。