論文の概要: COMPREHEND: Ultra-Fine-Grained Benchmark Understanding by Entailment Hierarchy

• arxiv url: http://arxiv.org/abs/2611.04249v1
• Date: Tue, 03 Nov 2026 03:32:52 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:42:24.478018
• Title: COMPREHEND: Ultra-Fine-Grained Benchmark Understanding by Entailment Hierarchy
• Title（参考訳）: CompREHEND: 包括的階層による超高階ベンチマーク理解
• Abstract要約: 本研究では,プロンプトの細粒度構造を自動的に構築するCompleHENDを提案する。 包含階層は分類学におけるクラスタ名を文で置き換え、より正確なクラスタ記述を提供する。 最先端の分類法であるEvalTreeと比較すると、CompleHENDは22.6から41.7まで、およびWildBenchの16.3から39.1までの情報的指標を改善している。
• 参考スコア（独自算出の注目度）: 25.631351524871636
• License:
• Abstract: Understanding what kind of prompts users typically ask and how well an LLM performs on these prompt categories is crucial for LLM practitioners. The existing methods satisfy the demand by hierarchically clustering the user prompts and synthesizing the cluster names using an LLM to build a taxonomy. However, the cluster names from these methods are usually too general for humans to understand the detailed prompt distributions and identify the exact strengths and weaknesses of LLMs. In this study, we propose COMPREHEND, which automatically constructs an ultra-fine-grained entailment hierarchy for the prompts. The entailment hierarchy replaces the cluster names in the taxonomy with sentences to provide more precise cluster descriptions for more fine-grained categorization. Compared with EvalTree, a state-of-the-art taxonomy construction method, COMPREHEND improves an entailment/faithfulness metric from 22.6 to 41.7 and an informative metric from 16.3 to 39.1 in WildBench. Our experiments also show that the weakness report generated based on our entailment hierarchy is much more informative than EvalTree in terms of predicting the response scores in the benchmark. All the code is released in https://github.com/JackNapier20/COMPREHEND_public.
• Abstract（参考訳）: ユーザが通常、どのプロンプトを問うか、これらのプロンプトカテゴリでどのようにLLMが機能するかを理解することは、LLM実践者にとって非常に重要です。 既存の手法は、ユーザプロンプトを階層的にクラスタ化し、LCMを使用してクラスタ名を合成することで、需要を満たす。 しかしながら、これらの手法のクラスタ名は、人間が詳細なプロンプト分布を理解し、LLMの正確な強度と弱点を特定するには、一般的には多すぎる。 本研究では,プロンプトの細粒度構造を自動的に構築するCompleHENDを提案する。 包含階層は分類学におけるクラスタ名を文に置き換え、よりきめ細かい分類のためのより正確なクラスタ記述を提供する。 最先端の分類法であるEvalTreeと比較すると、CompleHENDは22.6から41.7まで、およびWildBenchの16.3から39.1までの情報的指標を改善している。 また,本実験の結果から,提案手法の精度はEvalTreeよりも遥かに有益であることが示唆された。 すべてのコードはhttps://github.com/JackNapier20/COMPREHEND_publicで公開されている。

関連論文リスト

• HCRE: LLM-based Hierarchical Classification for Cross-Document Relation Extraction with a Prediction-then-Verification Strategy [54.91468501159335]
  文書間関係抽出 (RE) は, 異なる文書に存在する頭部尾部エンティティ間の関係を識別することを目的としている。 本稿では,各レベルでの多視点検証により信頼性を向上させる推論戦略を提案する。
  論文  参考訳（メタデータ） (2026-04-09T07:55:27Z)
• ESMC: MLLM-Based Embedding Selection for Explainable Multiple Clustering [79.69917150582633]
  MLLM(Multi-modal large language model)は、ユーザ主導のクラスタリングを実現するために利用することができる。 本手法はまず,MLLMのテキストトークンの隠蔽状態が対応する特徴と強く関連していることを明らかにする。 また、擬似ラベル学習を付加した軽量クラスタリングヘッドを採用し、クラスタリング精度を大幅に向上させた。
  論文  参考訳（メタデータ） (2025-11-30T04:36:51Z)
• LLM-guided Hierarchical Retrieval [54.73080745446999]
  LATTICEは階層的な検索フレームワークであり、LLMは対数探索の複雑さで大きなコーパスを推論し、ナビゲートすることができる。 LLM誘導探索における中心的な課題は、モデルの関連性判断がノイズが多く、文脈に依存し、階層性に気付かないことである。 我々のフレームワークは、推論集約型BRIGHTベンチマークで最先端のゼロショット性能を実現する。
  論文  参考訳（メタデータ） (2025-10-15T07:05:17Z)
• Hierarchical Representation Matching for CLIP-based Class-Incremental Learning [80.2317078787969]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、進化するデータストリームに継続的に適応可能なモデルを提供することを目的とする。 事前訓練された視覚言語モデル(例えばCLIP)の最近の進歩は、このタスクの強力な基盤を提供する。 本稿では,CLIPベースのCILのためのHiErarchical Representation MAtchiNg(HERMAN)を紹介する。
  論文  参考訳（メタデータ） (2025-09-26T17:59:51Z)
• Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
  Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。 AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。 結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
  論文  参考訳（メタデータ） (2025-07-22T06:37:51Z)
• HERCULES: Hierarchical Embedding-based Recursive Clustering Using LLMs for Efficient Summarization [0.0]
  HERCULESは、多様なデータ型の階層的なk平均クラスタリングのために設計されたアルゴリズムとPythonパッケージである。 階層のそれぞれのレベルでクラスタのセマンティックにリッチなタイトルと記述を生成する。 インタラクティブな可視化ツールは、クラスタリング結果の徹底的な分析と理解を容易にする。
  論文  参考訳（メタデータ） (2025-06-24T20:22:00Z)
• Generalized Category Discovery with Large Language Models in the Loop [10.440661581492723]
  トレーニングループにLarge Language Modelを導入する,エンドツーエンドのアクティブラーニングフレームワークであるLoopを提案する。 ループはSOTAモデルよりも大きなマージンで優れており、検出されたクラスタの正確なカテゴリ名を生成する。
  論文  参考訳（メタデータ） (2023-12-18T02:55:14Z)
• Waffling around for Performance: Visual Classification with Random Words and Broad Concepts [121.60918966567657]
  WaffleCLIPはゼロショット視覚分類のためのフレームワークで、LLM生成した記述子をランダムな文字と単語記述子に置き換える。 LLM生成記述子で導入された追加意味論の影響と欠点について、広範囲にわたる実験的研究を行う。
  論文  参考訳（メタデータ） (2023-06-12T17:59:48Z)
• Priberam Labs at the NTCIR-15 SHINRA2020-ML: Classification Task [2.0985487163597147]
  ShiNRA 2020-MLタスクは、ウィキペディアページを利用して、対応するエンティティを268階層のカテゴリに分類する。 BERTが生み出す文脈的埋め込みに基づく3つのモデルを提案する。 微調整のプロセスでは見られないものを含め、さまざまな言語で優れたパフォーマンスを実現できたのです。
  論文  参考訳（メタデータ） (2021-05-12T11:49:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。