論文の概要: Conformalized Exceptional Model Mining: Telling Where Your Model Performs (Not) Well

• arxiv url: http://arxiv.org/abs/2508.15569v1
• Date: Thu, 21 Aug 2025 13:43:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 16:26:46.354214
• Title: Conformalized Exceptional Model Mining: Telling Where Your Model Performs (Not) Well
• Title（参考訳）: Conformalized Exceptional Model Mining: モデルのパフォーマンスをよく示す(Not)
• Authors: Xin Du, Sikun Yang, Wouter Duivesteijn, Mykola Pechenizkiy,
• Abstract要約: 本稿では,新しいフレームワークであるConformalized Exceptional Model Miningを紹介する。 コンフォーマル予測の厳密さと例外モデルマイニングの説明力を組み合わせる。 我々は、共形予測の厳密なカバレッジ保証を通じて不確実性を定量化する新しいモデルクラスmSMoPEを開発する。
• 参考スコア（独自算出の注目度）: 31.013018198280506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the nuanced performance of machine learning models is essential for responsible deployment, especially in high-stakes domains like healthcare and finance. This paper introduces a novel framework, Conformalized Exceptional Model Mining, which combines the rigor of Conformal Prediction with the explanatory power of Exceptional Model Mining (EMM). The proposed framework identifies cohesive subgroups within data where model performance deviates exceptionally, highlighting regions of both high confidence and high uncertainty. We develop a new model class, mSMoPE (multiplex Soft Model Performance Evaluation), which quantifies uncertainty through conformal prediction's rigorous coverage guarantees. By defining a new quality measure, Relative Average Uncertainty Loss (RAUL), our framework isolates subgroups with exceptional performance patterns in multi-class classification and regression tasks. Experimental results across diverse datasets demonstrate the framework's effectiveness in uncovering interpretable subgroups that provide critical insights into model behavior. This work lays the groundwork for enhancing model interpretability and reliability, advancing the state-of-the-art in explainable AI and uncertainty quantification.
• Abstract（参考訳）: マシンラーニングモデルのニュアンスなパフォーマンスを理解することは、特に医療や金融といった高度な領域において、責任を負うデプロイメントに不可欠である。 本稿では,コンフォーマル予測の厳密さと例外モデルマイニング(EMM)の説明力を組み合わせた,新しい枠組みであるコンフォーマル化例外モデルマイニングを紹介する。 提案フレームワークは、モデル性能が例外的に低下するデータ内の凝集性サブグループを特定し、高い信頼性と高い不確実性の両方の領域を強調する。 我々は,共形予測の厳密なカバレッジ保証を通じて不確実性を定量化する新しいモデルクラスmSMoPE(multiplex Soft Model Performance Evaluation)を開発した。 新しい品質尺度を定義することで、相対平均不確実性損失(RAUL)を多クラス分類や回帰タスクにおいて例外的なパフォーマンスパターンを持つサブグループから分離する。 多様なデータセットにまたがる実験結果は、モデル行動に関する重要な洞察を提供する解釈可能なサブグループを明らかにする上で、フレームワークの有効性を示す。 この研究は、モデル解釈可能性と信頼性を高め、説明可能なAIと不確実性定量化の最先端を推し進めるための基礎となる。

関連論文リスト

• Relative Overfitting and Accept-Reject Framework [5.465098504510676]
  本稿では,性能向上のためにモデルをセグメント化する方法を管理するアンサンブルフレームワークを提案する。 NLPの領域におけるこのフレームワークのパターンを詳述し、コンピュータビジョン(CV)や科学のためのAIなど他の分野に簡単に説明します。
  論文  参考訳（メタデータ） (2025-05-12T17:36:14Z)
• Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
  大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。 大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。 従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:09:47Z)
• LoRE-Merging: Exploring Low-Rank Estimation For Large Language Model Merging [10.33844295243509]
  基本モデルであるtextscLoRE-Merging へのアクセスを必要とせず,タスクベクトルの低ランク推定に基づくモデルマージのための統一フレームワークを提案する。 我々のアプローチは、細調整されたモデルからのタスクベクトルは、しばしば支配的な特異値の限られた数しか示さず、低ランク推定が干渉しにくくなるという観察に動機づけられている。
  論文  参考訳（メタデータ） (2025-02-15T10:18:46Z)
• PerturBench: Benchmarking Machine Learning Models for Cellular Perturbation Analysis [14.298235969992877]
  単一細胞における摂動応答モデリングのための包括的フレームワークを提案する。 私たちのアプローチには、モジュラーでユーザフレンドリなモデル開発と評価プラットフォームが含まれています。 モード崩壊など、広く使われているモデルの限界を強調します。
  論文  参考訳（メタデータ） (2024-08-20T07:40:20Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。