論文の概要: CBX-Bench: A Human-Aligned MLLM Council for Benchmarking Concept Bottleneck Model Explanations

• arxiv url: http://arxiv.org/abs/2608.15404v2
• Date: Sun, 23 Aug 2026 11:39:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 18:24:36.869147
• Title: CBX-Bench: A Human-Aligned MLLM Council for Benchmarking Concept Bottleneck Model Explanations
• Title（参考訳）: CBX-Bench: Bottleneck モデル記述のベンチマークのためのヒューマンアラインなMLLMカウンシル
• Authors: Yusuf Meric Karadag, Gulay Oklan, Seref Baris Cagliyan, Umut Ozdemir, Emre Akbas,
• Abstract要約: 概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念を通じて予測を表現し、視覚的分類を解釈できるように設計されている。 CBMは下流分類の精度によって予測モデルとして評価され、孤立した定性例によって補足される。 我々は、画像とそのCBM説明が与えられたマルチモーダル大言語モデル(MLLM)カウンシルを開発し、説明品質スコアを生成する。
• 参考スコア（独自算出の注目度）: 7.253024982993541
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Concept Bottleneck Models (CBMs) are designed to make visual classification interpretable by expressing predictions through human-understandable concepts. Although interpretability is the central motivation for CBMs, they are still largely evaluated as predictive models by downstream classification accuracy, supplemented by isolated qualitative examples. This highlights a pressing need for quantitative measures, a challenge complicated by the infeasibility of ground-truth concept annotation at scale and the open nature of concept lists due to a lack of consensus. To fill this gap, we develop a multimodal large language model (MLLM) council that, given an image and its CBM explanation, produces an explanation quality score. To ground and validate the council, we first conduct a human study to establish a ground-truth reference for CBM explanation quality: for an image, annotators compare explanations from two of LF-CBM, VLG-CBM, and CBM-Suite and choose the more useful one, or mark them as equally good or equally bad, yielding 2700 judgments over 900 image-comparison items on CUB-200, ImageNet-100, and Places365. Against this human reference, our five-model council, consisting of open-weight MLLMs, recovers over 70% of strict human preference rankings, rising to 83% on items where human annotators unanimously agree. Building on this validated council, we introduce CBX-Bench, a public benchmark and leaderboard: authors of new CBMs can submit their model's explanations, and CBX-Bench scores them with the council and maintains dataset-level rankings of explanation quality. CBX-Bench thus provides a human-aligned, scalable evaluation of CBM explanations beyond accuracy and isolated qualitative examples. The benchmark is available at https://github.com/meric-karadag/cbx-bench.
• Abstract（参考訳）: 概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念を通じて予測を表現し、視覚的分類を解釈できるように設計されている。 解釈可能性(interpretability)はCBMの中心的なモチベーションであるが、下流の分類精度によって予測モデルとして評価され、孤立した定性的な例によって補われている。 これは量的測度の必要性、大規模における地道的概念アノテーションの実現性、コンセンサスの欠如による概念リストのオープンな性質などによって複雑化する課題を浮き彫りにしている。 このギャップを埋めるために、画像とそのCBM説明が与えられたマルチモーダル大言語モデル(MLLM)カウンシルを開発し、説明品質スコアを生成する。 我々はまず,CBM説明の質に関する基礎的な基準を確立するために人間による研究を行い,画像に対して,LF-CBM,VLG-CBM,CBM-Suiteの2つの説明を比較検討し,より有用なものを選択するか,CUB-200,ImageNet-100,Places365の900以上の画像比較項目に対して2700の判断を下す。 これに対し、オープンウェイトMLLMからなる5モデル協議会は、厳格な人間の選好ランクの70%以上を回復し、人間のアノテータが全会一致で同意する項目で83%まで上昇した。 CBX-Benchはモデルの説明を提出し、CBX-Benchは委員会と評価し、説明品質のデータセットレベルのランキングを維持します。 これによりCBX-Benchは、正確性や隔離された定性的な例を超えて、CBMの説明を人間に合わせたスケーラブルな評価を提供する。 ベンチマークはhttps://github.com/meric-karadag/cbx-bench.comで公開されている。

関連論文リスト

• Hierarchical, Interpretable, Label-Free Concept Bottleneck Model [26.8734811438552]
  CBMは、人間の理解可能な概念を通じてラベルを予測することによって、ブラックボックスのディープラーニングモデルに解釈可能性を導入している。 HIL-CBMは,人間の認知過程をより深く反映し,解釈可能性を高める階層的な枠組みである。 HIL-CBMは概念に基づく説明の抽象レベルとモデル予測の抽象レベルを一致させ、抽象から具体的へと進化させる。
  論文  参考訳（メタデータ） (2026-04-02T19:02:59Z)
• Explaining CLIP Zero-shot Predictions Through Concepts [54.05282304471016]
  EZPCを導入し,CLIPのゼロショット予測を人間に理解可能な概念で説明する。 本手法は,言語記述から学習した概念空間にCLIPの合同画像テキスト埋め込みを投影する。 提案手法は,CLIPの強いゼロショット分類精度を維持しつつ,意味のある概念レベルの説明を提供する。
  論文  参考訳（メタデータ） (2026-03-30T09:31:33Z)
• Controllable Concept Bottleneck Models [55.03639763625018]
  制御可能な概念ボトルネックモデル(CCBM) CCBMは、概念ラベルレベル、概念レベル、データレベルという3つのモデル編集の粒度をサポートする。 CCBMは、数学的に厳密な閉形式近似を享受し、再訓練の必要性を和らげる影響関数から導かれる。
  論文  参考訳（メタデータ） (2026-01-01T19:30:06Z)
• A Geometric Unification of Concept Learning with Concept Cones [58.70836885177496]
  解釈可能性の2つの伝統は、並べて進化してきたが、互いに話すことはめったにない:概念ボトルネックモデル(CBM)とスパースオートエンコーダ(SAE)。 両パラダイムが同じ幾何学的構造をインスタンス化することを示す。 CBMは人間の定義した参照ジオメトリを提供するが、SAEは学習した円錐がCBMをどの程度よく近似するか、あるいは包含しているかによって評価することができる。
  論文  参考訳（メタデータ） (2025-12-08T09:51:46Z)
• SUB: Benchmarking CBM Generalization via Synthetic Attribute Substitutions [45.55471356313678]
  Concept Bottleneck Models(CBM)や他のコンセプトベースの解釈可能なモデルは、AIアプリケーションをより透過的にするための大きな約束を示しています。 我々はCBMが分布シフトの下で正しい概念を確実に特定するのに苦労していることを示す。 CBMのロバスト性を評価するために,詳細な画像と概念のベンチマークであるSUBを導入する。
  論文  参考訳（メタデータ） (2025-07-31T17:59:40Z)
• Enhancing Interpretable Image Classification Through LLM Agents and Conditional Concept Bottleneck Models [15.97013792698305]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、画像分類を解釈可能で人間可読な概念によって管理されるプロセスに分解する。 環境フィードバックに応答してコンセプトバンクを調整する動的エージェントベースのアプローチを導入する。 また,従来のCBMの概念スコアリング機構の限界を克服するために,条件付き概念ボトルネックモデル(CoCoBM)を提案する。
  論文  参考訳（メタデータ） (2025-06-02T05:25:52Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)
• Eliminating Information Leakage in Hard Concept Bottleneck Models with Supervised, Hierarchical Concept Learning [17.982131928413096]
  概念ボトルネックモデル(Concept Bottleneck Models、CBM)は、人間の理解できない概念で特徴やラベルをブリッジすることで、解釈可能で介入可能な予測を提供することを目的としている。 CBMは情報漏洩に悩まされ、概念以外の意図しない情報がその後のラベル予測にリークされる。 本稿では,CBMの新たなパラダイム,すなわちSupCBMを提案する。
  論文  参考訳（メタデータ） (2024-02-03T03:50:58Z)
• Explainable fetal ultrasound quality assessment with progressive concept bottleneck models [6.734637459963132]
  胎児超音波品質評価のための総合的,説明可能な方法を提案する。 タスクに「可読性の概念」を導入し、シーケンシャルな専門家による意思決定プロセスを模倣する。 実験により、我々のモデルは、社内データセット上で同等のコンセプトフリーモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2022-11-19T09:31:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。