論文の概要: Explainable Benchmarking through the Lense of Concept Learning

• arxiv url: http://arxiv.org/abs/2510.20439v1
• Date: Thu, 23 Oct 2025 11:20:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:17.823602
• Title: Explainable Benchmarking through the Lense of Concept Learning
• Title（参考訳）: 概念学習のレンズによる説明可能なベンチマーク
• Authors: Quannian Zhang, Michael Röder, Nikit Srivastava, N'Dah Jean Kouagou, Axel-Cyrille Ngonga Ngomo,
• Abstract要約: 本稿では,新しいタイプのベンチマークについて論じる。 説明可能なベンチマーク手法の目的は、ベンチマークにおけるシステムの性能に関する説明を自動的に生成することである。 PruneCELと呼ばれる大規模知識グラフのために開発された新しい概念学習手法を用いて説明を求める。
• 参考スコア（独自算出の注目度）: 5.957919622462012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating competing systems in a comparable way, i.e., benchmarking them, is an undeniable pillar of the scientific method. However, system performance is often summarized via a small number of metrics. The analysis of the evaluation details and the derivation of insights for further development or use remains a tedious manual task with often biased results. Thus, this paper argues for a new type of benchmarking, which is dubbed explainable benchmarking. The aim of explainable benchmarking approaches is to automatically generate explanations for the performance of systems in a benchmark. We provide a first instantiation of this paradigm for knowledge-graph-based question answering systems. We compute explanations by using a novel concept learning approach developed for large knowledge graphs called PruneCEL. Our evaluation shows that PruneCEL outperforms state-of-the-art concept learners on the task of explainable benchmarking by up to 0.55 points F1 measure. A task-driven user study with 41 participants shows that in 80\% of the cases, the majority of participants can accurately predict the behavior of a system based on our explanations. Our code and data are available at https://github.com/dice-group/PruneCEL/tree/K-cap2025
• Abstract（参考訳）: 競合するシステムを同等に評価すること、すなわちそれらをベンチマークすることは、科学的手法の特定不可能な柱である。 しかしながら、システムパフォーマンスは、少数のメトリクスで要約されることが多い。 評価の詳細の分析と、さらなる開発や使用のための洞察の導出は、しばしばバイアスのある結果を伴う退屈な手作業のままである。 そこで本稿では,新しいタイプのベンチマークについて論じる。 説明可能なベンチマーク手法の目的は、ベンチマークにおけるシステムの性能に関する説明を自動的に生成することである。 本稿では,知識グラフに基づく質問応答システムにおいて,このパラダイムの最初のインスタンス化を提案する。 PruneCELと呼ばれる大規模知識グラフのために開発された新しい概念学習手法を用いて説明を求める。 評価の結果,PruneCEL は最新の概念学習者に対して,最大 0.55 点 F1 尺度で説明可能なベンチマーク処理を行う上で優れていた。 41人を対象にしたタスク駆動型ユーザスタディでは、80%のケースでは、ほとんどの参加者が、説明に基づいてシステムの振る舞いを正確に予測できることがわかった。 私たちのコードとデータはhttps://github.com/dice-group/PruneCEL/tree/K-cap2025で公開されています。

関連論文リスト

• Benchmark Profiling: Mechanistic Diagnosis of LLM Benchmarks [34.09939383415074]
  ベンチマークプロファイリングは、ベンチマークのパフォーマンスを10の認知的基盤を持つ能力に分解する。 パフォーマンス向上がユーザ認識能力に必ずしも変換されない理由を説明する。
  論文  参考訳（メタデータ） (2025-09-23T15:32:47Z)
• Improving LLM Leaderboards with Psychometrical Methodology [0.0]
  大規模言語モデル(LLM)の急速な開発は、その性能を評価するためにベンチマークの作成を必要としている。 これらのベンチマークは、人間のテストや調査に似ており、これらのシステムの認知行動における創発性を測定するために設計された質問で構成されている。 しかし、社会科学でよく定義された特徴や能力とは異なり、これらのベンチマークによって測定される特性は曖昧で厳密に定義されていないことが多い。
  論文  参考訳（メタデータ） (2025-01-27T21:21:46Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• VisIT-Bench: A Benchmark for Vision-Language Instruction Following Inspired by Real-World Use [49.574651930395305]
  VisIT-Benchは、命令追従型視覚言語モデルの評価のためのベンチマークである。 提案データセットは592個のテストクエリからなり,それぞれに人手による指示条件付きキャプションを付与した。 人的評価と自動評価の両方を用いて,モデルと参照間の品質ギャップを定量化する。
  論文  参考訳（メタデータ） (2023-08-12T15:27:51Z)
• Vote'n'Rank: Revision of Benchmarking with Social Choice Theory [7.224599819499157]
  本稿では,社会的選択論の原理に基づき,マルチタスクベンチマークにおけるシステムランキングの枠組みであるVote'n'Rankを提案する。 いくつかのMLサブフィールドにおいて,ベンチマークに関する新たな洞察を引き出すために,我々の手法を効率的に活用できることを実証する。
  論文  参考訳（メタデータ） (2022-10-11T20:19:11Z)
• COLO: A Contrastive Learning based Re-ranking Framework for One-Stage Summarization [84.70895015194188]
  コントラスト学習に基づく一段階要約フレームワークであるCOLOを提案する。 COLOはCNN/DailyMailベンチマークの1段階システムの抽出と抽象化結果を44.58と46.33ROUGE-1スコアに引き上げた。
  論文  参考訳（メタデータ） (2022-09-29T06:11:21Z)
• The Benchmark Lottery [114.43978017484893]
  ベンチマーク宝くじ」は、機械学習ベンチマークプロセスの全体的な脆弱さを記述している。 アルゴリズムの相対的性能は、異なるベンチマークタスクを選択するだけで大幅に変化する可能性がある。
  論文  参考訳（メタデータ） (2021-07-14T21:08:30Z)
• Exploring and Analyzing Machine Commonsense Benchmarks [0.13999481573773073]
  我々は、これらのアプローチのメタデータを調整するための共通の語彙の欠如は、システムの欠陥を理解するための努力で研究者を制限します。 ベンチマークメタデータを形式化する一般的な語彙であるMCS Benchmark Ontologyについて説明します。
  論文  参考訳（メタデータ） (2020-12-21T19:01:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。