論文の概要: An Empirical Evaluation of the Rashomon Effect in Explainable Machine
Learning
- arxiv url: http://arxiv.org/abs/2306.15786v2
- Date: Thu, 29 Jun 2023 07:55:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-30 10:11:14.050372
- Title: An Empirical Evaluation of the Rashomon Effect in Explainable Machine
Learning
- Title(参考訳): 説明可能な機械学習におけるラショモン効果の実証評価
- Authors: Sebastian M\"uller, Vanessa Toborek, Katharina Beckh, Matthias Jakobs,
Christian Bauckhage and Pascal Welke
- Abstract要約: 与えられたデータセットには、同等に優れたパフォーマンスを持つが、異なるソリューション戦略を持つモデルが多数存在する可能性がある。
3つの異なる比較シナリオについて統一されたビューを提供し、異なるデータセット、モデル、属性メソッド、メトリクスにわたって定量的評価を行います。
- 参考スコア(独自算出の注目度): 2.60815298676312
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Rashomon Effect describes the following phenomenon: for a given dataset
there may exist many models with equally good performance but with different
solution strategies. The Rashomon Effect has implications for Explainable
Machine Learning, especially for the comparability of explanations. We provide
a unified view on three different comparison scenarios and conduct a
quantitative evaluation across different datasets, models, attribution methods,
and metrics. We find that hyperparameter-tuning plays a role and that metric
selection matters. Our results provide empirical support for previously
anecdotal evidence and exhibit challenges for both scientists and
practitioners.
- Abstract(参考訳): ラショモン効果は以下の現象を記述する: あるデータセットに対して、等しく優れた性能を持つが、異なる解戦略を持つ多くのモデルが存在する可能性がある。
ラショモン効果は、説明可能な機械学習、特に説明の両立性に影響を及ぼす。
3つの異なる比較シナリオの統一的なビューを提供し、さまざまなデータセット、モデル、帰属方法、メトリクスを定量的に評価します。
ハイパーパラメータチューニングが役割を果たすことが分かり、メトリックの選択が重要になります。
本研究は,これまでの事例的証拠に対して経験的支援を行い,科学者と実践者の両方に課題を提示する。
関連論文リスト
- EXMOS: Explanatory Model Steering Through Multifaceted Explanations and
Data Configurations [5.132827811038276]
本研究では,対話型機械学習システムにおけるデータ中心およびモデル中心の説明の影響について検討する。
我々は医療専門家とともに、信頼、理解可能性、モデル改善に対する様々な説明の影響について調査した。
この結果から,データ構成中にユーザを導くためのグローバルモデル中心の説明が不十分であることが明らかになった。
論文 参考訳(メタデータ) (2024-02-01T10:57:00Z) - Understanding Disparities in Post Hoc Machine Learning Explanation [2.965442487094603]
従来の研究では、既存のポストホックな説明法は説明の忠実度に相違があることが強調されている(「レース」と「ジェンダー」は敏感な属性である)。
データの性質から生じる格差を説明するための課題を特に評価する。
結果は、モデル説明の相違はデータやモデルの性質にも依存できることを示している。
論文 参考訳(メタデータ) (2024-01-25T22:09:28Z) - Revisiting Demonstration Selection Strategies in In-Context Learning [69.43198898396211]
大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。
本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。
本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
論文 参考訳(メタデータ) (2024-01-22T16:25:27Z) - Dynamic Interpretability for Model Comparison via Decision Rules [0.8099700053397276]
本稿では,機械学習モデルの違いを理解し説明することの課題に対処する。
ルールベースの説明を生成するモデルに依存しないDeltaXplainerを提案する。
論文 参考訳(メタデータ) (2023-09-29T09:42:49Z) - A Causal Framework for Decomposing Spurious Variations [68.12191782657437]
我々はマルコフモデルとセミマルコフモデルの急激な変分を分解するツールを開発する。
突発効果の非パラメトリック分解を可能にする最初の結果を証明する。
説明可能なAIや公平なAIから、疫学や医学における疑問まで、いくつかの応用がある。
論文 参考訳(メタデータ) (2023-06-08T09:40:28Z) - Task Formulation Matters When Learning Continually: A Case Study in
Visual Question Answering [58.82325933356066]
継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。
本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
論文 参考訳(メタデータ) (2022-09-30T19:12:58Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳(メタデータ) (2022-05-21T19:49:04Z) - Towards Understanding Sample Variance in Visually Grounded Language
Generation: Evaluations and Observations [67.4375210552593]
視覚的基盤言語生成において,重要だがしばしば無視される問題を理解するために実験を設計する。
人間にはさまざまなユーティリティと視覚的注意があるので、マルチ参照データセットのサンプルのばらつきはモデルの性能にどのように影響しますか?
人為的な参照は、異なるデータセットやタスクで大きく変化する可能性があり、それぞれのタスクの性質が明らかになる。
論文 参考訳(メタデータ) (2020-10-07T20:45:14Z) - Explainable Recommender Systems via Resolving Learning Representations [57.24565012731325]
説明はユーザー体験を改善し、システムの欠陥を発見するのに役立つ。
本稿では,表現学習プロセスの透明性を向上させることによって,説明可能な新しい推薦モデルを提案する。
論文 参考訳(メタデータ) (2020-08-21T05:30:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。