論文の概要: An Empirical Evaluation of the Rashomon Effect in Explainable Machine Learning

• arxiv url: http://arxiv.org/abs/2306.15786v1
• Date: Tue, 27 Jun 2023 20:32:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-29 16:33:04.145378
• Title: An Empirical Evaluation of the Rashomon Effect in Explainable Machine Learning
• Title（参考訳）: 説明可能な機械学習におけるラショモン効果の実証評価
• Authors: Sebastian M\"uller, Vanessa Toborek, Katharina Beckh, Matthias Jakobs Christian Bauckhage and Pascal Welke
• Abstract要約: 与えられたデータセットには、同等に優れたパフォーマンスを持つが、異なるソリューション戦略を持つモデルが多数存在する可能性がある。 3つの異なる比較シナリオについて統一されたビューを提供し、異なるデータセット、モデル、属性メソッド、メトリクスにわたって定量的評価を行います。
• 参考スコア（独自算出の注目度）: 1.0499611180329804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Rashomon Effect describes the following phenomenon: for a given dataset there may exist many models with equally good performance but with different solution strategies. The Rashomon Effect has implications for Explainable Machine Learning, especially for the comparability of explanations. We provide a unified view on three different comparison scenarios and conduct a quantitative evaluation across different datasets, models, attribution methods, and metrics. We find that hyperparameter-tuning plays a role and that metric selection matters. Our results provide empirical support for previously anecdotal evidence and exhibit challenges for both scientists and practitioners.
• Abstract（参考訳）: ラショモン効果は以下の現象を記述する: あるデータセットに対して、等しく優れた性能を持つが、異なる解戦略を持つ多くのモデルが存在する可能性がある。 ラショモン効果は、説明可能な機械学習、特に説明の両立性に影響を及ぼす。 3つの異なる比較シナリオの統一的なビューを提供し、さまざまなデータセット、モデル、帰属方法、メトリクスを定量的に評価します。 ハイパーパラメータチューニングが役割を果たすことが分かり、メトリックの選択が重要になります。 本研究は,これまでの事例的証拠に対して経験的支援を行い,科学者と実践者の両方に課題を提示する。

関連論文リスト

• Most Influential Subset Selection: Challenges, Promises, and Beyond [9.479235005673683]
  我々は,最も集団的影響の大きいトレーニングサンプルのサブセットを特定することを目的とした,MISS(Most Influential Subset Selection)問題について検討する。 我々は、MISにおける一般的なアプローチを包括的に分析し、その強みと弱点を解明する。 本稿では,これらを反復的に適用した適応バージョンが,試料間の相互作用を効果的に捕捉できることを実証する。
  論文  参考訳（メタデータ） (2024-09-25T20:00:23Z)
• Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
  そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。 本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
  論文  参考訳（メタデータ） (2024-08-24T18:28:19Z)
• CNN-based explanation ensembling for dataset, representation and explanations evaluation [1.1060425537315088]
  畳み込みモデルを用いた深層分類モデルによる説明文の要約の可能性について検討する。 実験と分析を通じて、モデル行動のより一貫性と信頼性のあるパターンを明らかにするために、説明を組み合わせることの意味を明らかにすることを目的とする。
  論文  参考訳（メタデータ） (2024-04-16T08:39:29Z)
• EXMOS: Explanatory Model Steering Through Multifaceted Explanations and Data Configurations [5.132827811038276]
  本研究では,対話型機械学習システムにおけるデータ中心およびモデル中心の説明の影響について検討する。 我々は医療専門家とともに、信頼、理解可能性、モデル改善に対する様々な説明の影響について調査した。 この結果から,データ構成中にユーザを導くためのグローバルモデル中心の説明が不十分であることが明らかになった。
  論文  参考訳（メタデータ） (2024-02-01T10:57:00Z)
• Understanding Disparities in Post Hoc Machine Learning Explanation [2.965442487094603]
  従来の研究では、既存のポストホックな説明法は説明の忠実度に相違があることが強調されている(「レース」と「ジェンダー」は敏感な属性である)。 データの性質から生じる格差を説明するための課題を特に評価する。 結果は、モデル説明の相違はデータやモデルの性質にも依存できることを示している。
  論文  参考訳（メタデータ） (2024-01-25T22:09:28Z)
• Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:25:27Z)
• A Causal Framework for Decomposing Spurious Variations [68.12191782657437]
  我々はマルコフモデルとセミマルコフモデルの急激な変分を分解するツールを開発する。 突発効果の非パラメトリック分解を可能にする最初の結果を証明する。 説明可能なAIや公平なAIから、疫学や医学における疑問まで、いくつかの応用がある。
  論文  参考訳（メタデータ） (2023-06-08T09:40:28Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Explainable Recommender Systems via Resolving Learning Representations [57.24565012731325]
  説明はユーザー体験を改善し、システムの欠陥を発見するのに役立つ。 本稿では,表現学習プロセスの透明性を向上させることによって,説明可能な新しい推薦モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-21T05:30:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。