論文の概要: Measuring What Matters: Synthetic Benchmarks for Concept Bottleneck Models

• arxiv url: http://arxiv.org/abs/2606.04326v1
• Date: Wed, 03 Jun 2026 01:01:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.456517
• Title: Measuring What Matters: Synthetic Benchmarks for Concept Bottleneck Models
• Title（参考訳）: 重要なことを測定する:概念ボトルネックモデルのための合成ベンチマーク
• Authors: Julian Skirzynski, Harry Cheon, Shreyas Kadekodi, Meredith Stewart, Berk Ustun,
• Abstract要約: 概念ボトルネックモデルは、入力で検出された高レベルの概念から結果を予測する。 私たちのベンチマークでは、パフォーマンスに影響を与えるプロパティを制御しながらラベル付きデータセットを生成することができます。 私たちのデモでは、ベンチマークが障害モードを診断し、フォローアップテストをガイドする方法を示しています。
• 参考スコア（独自算出の注目度）: 9.101622055120831
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Concept bottleneck models predict outcomes from high-level concepts detected in inputs. Although concepts provide a simple way to reap benefits from interpretability, very few datasets include concept labels. This limits researchers' ability to determine which problems are suitable for these models, isolate the factors that drive their performance or lead to failures, or uncover which algorithms perform well. In this paper, we develop synthetic benchmarks for concept-bottleneck models, focusing on their two main use cases: decision support, in which models assist humans in making better decisions, and automation, in which models handle routine tasks without supervision. Our benchmarks can generate labeled datasets while controlling for properties that affect performance, including data modality, concept choice, annotation quality, and completeness. We demonstrate how the benchmarks can be used to evaluate representative classes of concept bottleneck models. Our demonstrations show how the benchmarks can diagnose failure modes and guide follow-up testing.
• Abstract（参考訳）: 概念ボトルネックモデルは、入力で検出された高レベルの概念から結果を予測する。 概念は解釈可能性の利点を享受する簡単な方法を提供するが、概念ラベルを含むデータセットはほとんどない。 これにより、研究者がこれらのモデルに適した問題を特定したり、パフォーマンスを駆動したり、障害につながる要因を分離したり、どのアルゴリズムがうまく機能するかを明らかにする能力が制限される。 本稿では,モデルがより良い意思決定を行う上で人間を支援する決定支援と,モデルが監督なしでルーチンタスクを処理する自動化という,2つの主要なユースケースに焦点を当てた,コンセプト・ブートネックモデルの総合的ベンチマークを開発する。 我々のベンチマークは、データモダリティ、概念選択、アノテーションの品質、完全性など、パフォーマンスに影響を与える特性を制御しながらラベル付きデータセットを生成することができる。 本稿では,このベンチマークを用いて,概念ボトルネックモデルの代表クラスを評価する方法について述べる。 私たちのデモでは、ベンチマークが障害モードを診断し、フォローアップテストをガイドする方法を示しています。

関連論文リスト

• IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
  命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。 各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。 IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
  論文  参考訳（メタデータ） (2026-03-05T02:21:17Z)
• Scales++: Compute Efficient Evaluation Subset Selection with Cognitive Scales Embeddings [23.9553588103042]
  本稿では,タスク項目自体の本質的な特性に基づいて選択を行うことを論じ,サブセット選択をベンチマークする項目中心のアプローチを提案する。 Scales++は、競争力のある予測忠実性を達成しながら、事前選択コストを18倍以上削減します。 この項目中心のアプローチは,忠実度を著しく低下させることなく,より効率的なモデル評価を可能にすることを実証する。
  論文  参考訳（メタデータ） (2025-10-30T11:28:58Z)
• Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
  そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。 本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
  論文  参考訳（メタデータ） (2024-08-24T18:28:19Z)
• ProtoS-ViT: Visual foundation models for sparse self-explainable classifications [0.6249768559720122]
  プロトタイプネットワークは、概念の線形和に基づいて本質的に説明可能なモデルを構築することを目的としている。 この研究はまず、現在の原型ネットワークにおける欠点を識別できる量的および質的なメトリクスの広範なセットを提案する。 その後、コンパクトな説明を提供する新しいアーキテクチャを導入し、説明品質の観点から現在の原型モデルより優れている。
  論文  参考訳（メタデータ） (2024-06-14T13:36:30Z)
• Benchmarking and Enhancing Disentanglement in Concept-Residual Models [4.177318966048984]
  概念ボトルネックモデル (CBM) は、まず意味論的に意味のある一連の特徴を予測する解釈可能なモデルである。 CBMの性能はエンジニアリングされた機能に依存しており、不完全な概念のセットに苦しむことがある。 本研究は,情報漏洩を解消するための3つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T21:07:26Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Evaluating Representations with Readout Model Switching [19.907607374144167]
  本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。 我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。 提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
  論文  参考訳（メタデータ） (2023-02-19T14:08:01Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
  ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。 当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
  論文  参考訳（メタデータ） (2021-02-17T18:25:30Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。