論文の概要: Evaluation of post-hoc interpretability methods in time-series classification

• arxiv url: http://arxiv.org/abs/2202.05656v2
• Date: Fri, 06 Dec 2024 16:56:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:54:44.547951
• Title: Evaluation of post-hoc interpretability methods in time-series classification
• Title（参考訳）: 時系列分類におけるポストホック解釈可能性の評価
• Authors: Hugues Turbé, Mina Bjelogrlic, Christian Lovis, Gianmarco Mengaldo,
• Abstract要約: 本稿では,既存のポストホック解釈可能性法の性能を評価するために,定量的な指標を用いたフレームワークを提案する。 文献で確認されたいくつかの欠点、すなわち、人間の判断、再訓練、サンプルを除外する際のデータ分布の変化に対処できることが示される。 提案手法と定量的なメトリクスを用いて,実践的な応用で得られた解釈可能性手法の信頼性を理解することができる。
• 参考スコア（独自算出の注目度）: 0.6249768559720122
• License:
• Abstract: Post-hoc interpretability methods are critical tools to explain neural-network results. Several post-hoc methods have emerged in recent years, but when applied to a given task, they produce different results, raising the question of which method is the most suitable to provide correct post-hoc interpretability. To understand the performance of each method, quantitative evaluation of interpretability methods is essential. However, currently available frameworks have several drawbacks which hinders the adoption of post-hoc interpretability methods, especially in high-risk sectors. In this work, we propose a framework with quantitative metrics to assess the performance of existing post-hoc interpretability methods in particular in time series classification. We show that several drawbacks identified in the literature are addressed, namely dependence on human judgement, retraining, and shift in the data distribution when occluding samples. We additionally design a synthetic dataset with known discriminative features and tunable complexity. The proposed methodology and quantitative metrics can be used to understand the reliability of interpretability methods results obtained in practical applications. In turn, they can be embedded within operational workflows in critical fields that require accurate interpretability results for e.g., regulatory policies.
• Abstract（参考訳）: ポストホック解釈可能性法は、ニューラルネットワークの結果を説明する重要なツールである。 近年、いくつかのポストホック法が出現しているが、与えられたタスクに適用すると異なる結果が得られ、どのメソッドが正しいポストホック解釈性を提供するのに最も適しているかという疑問が提起されている。 各手法の性能を理解するためには,解釈可能性の定量的評価が不可欠である。 しかし、現在利用可能なフレームワークには、特にリスクの高いセクターにおいて、ポストホック解釈可能性メソッドの採用を妨げるいくつかの欠点がある。 本稿では,特に時系列分類において,既存のポストホック解釈可能性法の性能を評価するために,定量的な指標を用いたフレームワークを提案する。 文献で確認されたいくつかの欠点、すなわち、人間の判断、再訓練、サンプルを除外する際のデータ分布の変化に対処できることが示される。 さらに、既知の識別的特徴とチューニング可能な複雑性を持つ合成データセットを設計する。 提案手法と定量的なメトリクスを用いて,実践的な応用で得られた解釈可能性手法の信頼性を理解することができる。 結果として、それらは、例えば規制ポリシの正確な解釈可能性結果を必要とする重要な分野の運用ワークフローに組み込むことができます。

関連論文リスト

• Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
  本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。 我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
  論文  参考訳（メタデータ） (2024-09-23T07:55:35Z)
• Revisiting the robustness of post-hoc interpretability methods [1.5020330976600738]
  説明可能な人工知能(XAI)におけるポストホック解釈可能性法の役割 ポストホックの解釈可能性の異なる手法は、しばしば異なる結果をもたらし、その正確性に疑問を投げかける。 本稿では,ポストホック解釈可能性法を詳細に評価するためのアプローチと2つの新しい指標を提案する。
  論文  参考訳（メタデータ） (2024-07-29T03:55:52Z)
• Beyond ELBOs: A Large-Scale Evaluation of Variational Methods for Sampling [14.668634411361307]
  標準化されたタスクスイートと幅広い性能基準を用いてサンプリング手法を評価するベンチマークを導入する。 モード崩壊の定量化のための既存のメトリクスについて検討し、この目的のために新しいメトリクスを導入する。
  論文  参考訳（メタデータ） (2024-06-11T16:23:33Z)
• Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
  論文  参考訳（メタデータ） (2023-03-21T14:24:58Z)
• Interpretation Quality Score for Measuring the Quality of interpretability methods [12.659475399995717]
  現在、解釈可能性法による説明の質を評価するための広く受け入れられた計量は存在しない。 本稿では,解釈可能性法による説明の質を定量化するための新しい指標を提案する。 6つの解釈可能性法を用いて3つのNLPタスクのメトリクスを計算し,その結果を示す。
  論文  参考訳（メタデータ） (2022-05-24T17:57:55Z)
• Towards Better Understanding Attribution Methods [77.1487219861185]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
  論文  参考訳（メタデータ） (2022-05-20T20:50:17Z)
• Discriminative Attribution from Counterfactuals [64.94009515033984]
  本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。 本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-28T00:53:34Z)
• On Sample Based Explanation Methods for NLP:Efficiency, Faithfulness, and Semantic Evaluation [23.72825603188359]
  我々は、任意のテキストシーケンスを説明単位として許容することにより、説明の解釈可能性を向上させることができる。 本研究では,人間による説明の判断に適合する意味に基づく評価指標を提案する。
  論文  参考訳（メタデータ） (2021-06-09T00:49:56Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• On quantitative aspects of model interpretability [0.0]
  これらの次元に沿った手法は、2つの概念的部分、すなわち抽出器と実際の説明可能性法に含めることができると論じる。 異なるベンチマークタスクのメトリクスを実験的に検証し、そのタスクに最も適したメソッドの選択において、実践者の指導にどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-07-15T10:05:05Z)
• Interpretable Off-Policy Evaluation in Reinforcement Learning by Highlighting Influential Transitions [48.91284724066349]
  強化学習におけるオフ政治評価は、医療や教育などの領域における将来の成果を改善するために観察データを使用する機会を提供する。 信頼区間のような従来の尺度は、ノイズ、限られたデータ、不確実性のために不十分である可能性がある。 我々は,人間専門家が政策評価評価評価の妥当性を分析できるように,ハイブリッドAIシステムとして機能する手法を開発した。
  論文  参考訳（メタデータ） (2020-02-10T00:26:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。