論文の概要: Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance

• arxiv url: http://arxiv.org/abs/2408.13648v1
• Date: Sat, 24 Aug 2024 18:28:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 18:39:37.555001
• Title: Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance
• Title（参考訳）: 特徴シフトが性能に与える影響を理解するための説明モデルモニタリング
• Authors: Thomas Decker, Alexander Koebler, Michael Lebacher, Ingo Thon, Volker Tresp, Florian Buettner,
• Abstract要約: そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。 本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
• 参考スコア（独自算出の注目度）: 61.06245197347139
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Monitoring and maintaining machine learning models are among the most critical challenges in translating recent advances in the field into real-world applications. However, current monitoring methods lack the capability of provide actionable insights answering the question of why the performance of a particular model really degraded. In this work, we propose a novel approach to explain the behavior of a black-box model under feature shifts by attributing an estimated performance change to interpretable input characteristics. We refer to our method that combines concepts from Optimal Transport and Shapley Values as Explanatory Performance Estimation (XPE). We analyze the underlying assumptions and demonstrate the superiority of our approach over several baselines on different data sets across various data modalities such as images, audio, and tabular data. We also indicate how the generated results can lead to valuable insights, enabling explanatory model monitoring by revealing potential root causes for model deterioration and guiding toward actionable countermeasures.
• Abstract（参考訳）: 機械学習モデルのモニタリングとメンテナンスは、この分野における最近の進歩を現実世界のアプリケーションに翻訳する上で、最も重要な課題である。 しかし、現在のモニタリング手法には、特定のモデルの性能が実際に低下した理由に関する質問に答える実用的な洞察を提供する能力がない。 本研究では,入力特性の解釈に推定された性能変化を寄与させることにより,特徴変化下でのブラックボックスモデルの振る舞いを説明する新しい手法を提案する。 提案手法は,最適輸送と共有値の概念を,説明的性能推定(Explanatory Performance Estimation, XPE)として組み合わせたものである。 基礎となる仮定を解析し、画像、オーディオ、表データなどの様々なデータモダリティにまたがる異なるデータセットに対するいくつかのベースラインに対するアプローチの優位性を実証する。 また, モデル劣化の潜在的な根本原因を明らかにし, 行動可能な対策を導くことによって, 予測モデルモニタリングを可能にする。

関連論文リスト

• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• Benchmarking and Enhancing Disentanglement in Concept-Residual Models [4.177318966048984]
  概念ボトルネックモデル (CBM) は、まず意味論的に意味のある一連の特徴を予測する解釈可能なモデルである。 CBMの性能はエンジニアリングされた機能に依存しており、不完全な概念のセットに苦しむことがある。 本研究は,情報漏洩を解消するための3つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T21:07:26Z)
• Towards Better Modeling with Missing Data: A Contrastive Learning-based Visual Analytics Perspective [7.577040836988683]
  データ不足は機械学習(ML)モデリングの課題となる可能性がある。 現在のアプローチは、特徴計算とラベル予測に分類される。 本研究は、観測データに欠落した値でモデル化するコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-18T13:16:24Z)
• Robustness and Generalization Performance of Deep Learning Models on Cyber-Physical Systems: A Comparative Study [71.84852429039881]
  調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。 我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
  論文  参考訳（メタデータ） (2023-06-13T12:43:59Z)
• Consistent Explanations in the Face of Model Indeterminacy via Ensembling [12.661530681518899]
  この研究は、モデル不確定性の存在下で予測モデルに対して一貫した説明を提供することの課題に対処する。 これらのシナリオで提供される説明の一貫性を高めるためのアンサンブル手法を導入する。 本研究は,説明文の解釈において,モデル不確定性を考慮することの重要性を強調した。
  論文  参考訳（メタデータ） (2023-06-09T18:45:43Z)
• A prediction and behavioural analysis of machine learning methods for modelling travel mode choice [0.26249027950824505]
  我々は、モデル選択に影響を及ぼす可能性のある重要な要因の観点から、複数のモデリング問題に対して異なるモデリングアプローチを体系的に比較する。 その結果,非凝集性予測性能が最も高いモデルでは,行動指標やアグリゲーションモードのシェアが低下することが示唆された。 MNLモデルは様々な状況において堅牢に機能するが、ML手法はWillingness to Payのような行動指標の推定を改善することができる。
  論文  参考訳（メタデータ） (2023-01-11T11:10:32Z)
• A monitoring framework for deployed machine learning models with supply chain examples [2.904613270228912]
  機械学習モデルを監視するためのフレームワークについて述べ,(2)ビッグデータサプライチェーンアプリケーションの実装について述べる。 本実装では,3つの実データ集合上でのモデル特徴,予測,および性能のドリフトについて検討する。
  論文  参考訳（メタデータ） (2022-11-11T14:31:38Z)
• Explainability in Process Outcome Prediction: Guidelines to Obtain Interpretable and Faithful Models [77.34726150561087]
  本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。 本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
  論文  参考訳（メタデータ） (2022-03-30T05:59:50Z)
• How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
  本稿では,トレーニングデータの密度と制御性能の関係を考察する。 データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。 フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-25T12:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。