論文の概要: Evaluation of post-hoc interpretability methods in time-series classification

• arxiv url: http://arxiv.org/abs/2202.05656v2
• Date: Fri, 06 Dec 2024 16:56:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:54:44.547951
• Title: Evaluation of post-hoc interpretability methods in time-series classification
• Title（参考訳）: 時系列分類におけるポストホック解釈可能性の評価
• Authors: Hugues Turbé, Mina Bjelogrlic, Christian Lovis, Gianmarco Mengaldo,
• Abstract要約: 本稿では,既存のポストホック解釈可能性法の性能を評価するために,定量的な指標を用いたフレームワークを提案する。 文献で確認されたいくつかの欠点、すなわち、人間の判断、再訓練、サンプルを除外する際のデータ分布の変化に対処できることが示される。 提案手法と定量的なメトリクスを用いて,実践的な応用で得られた解釈可能性手法の信頼性を理解することができる。
• 参考スコア（独自算出の注目度）: 0.6249768559720122
• License:
• Abstract: Post-hoc interpretability methods are critical tools to explain neural-network results. Several post-hoc methods have emerged in recent years, but when applied to a given task, they produce different results, raising the question of which method is the most suitable to provide correct post-hoc interpretability. To understand the performance of each method, quantitative evaluation of interpretability methods is essential. However, currently available frameworks have several drawbacks which hinders the adoption of post-hoc interpretability methods, especially in high-risk sectors. In this work, we propose a framework with quantitative metrics to assess the performance of existing post-hoc interpretability methods in particular in time series classification. We show that several drawbacks identified in the literature are addressed, namely dependence on human judgement, retraining, and shift in the data distribution when occluding samples. We additionally design a synthetic dataset with known discriminative features and tunable complexity. The proposed methodology and quantitative metrics can be used to understand the reliability of interpretability methods results obtained in practical applications. In turn, they can be embedded within operational workflows in critical fields that require accurate interpretability results for e.g., regulatory policies.
• Abstract（参考訳）: ポストホック解釈可能性法は、ニューラルネットワークの結果を説明する重要なツールである。 近年、いくつかのポストホック法が出現しているが、与えられたタスクに適用すると異なる結果が得られ、どのメソッドが正しいポストホック解釈性を提供するのに最も適しているかという疑問が提起されている。 各手法の性能を理解するためには,解釈可能性の定量的評価が不可欠である。 しかし、現在利用可能なフレームワークには、特にリスクの高いセクターにおいて、ポストホック解釈可能性メソッドの採用を妨げるいくつかの欠点がある。 本稿では,特に時系列分類において,既存のポストホック解釈可能性法の性能を評価するために,定量的な指標を用いたフレームワークを提案する。 文献で確認されたいくつかの欠点、すなわち、人間の判断、再訓練、サンプルを除外する際のデータ分布の変化に対処できることが示される。 さらに、既知の識別的特徴とチューニング可能な複雑性を持つ合成データセットを設計する。 提案手法と定量的なメトリクスを用いて,実践的な応用で得られた解釈可能性手法の信頼性を理解することができる。 結果として、それらは、例えば規制ポリシの正確な解釈可能性結果を必要とする重要な分野の運用ワークフローに組み込むことができます。

関連論文リスト

• Detecting Statements in Text: A Domain-Agnostic Few-Shot Solution [1.3654846342364308]
  最先端のアプローチは通常、作成にコストがかかる大規模な注釈付きデータセット上の微調整モデルを含む。 本稿では,クレームに基づくテキスト分類タスクの共通パラダイムとして,定性的で多目的な少ショット学習手法の提案とリリースを行う。 本手法は,気候変動対策,トピック/スタンス分類,うつ病関連症状検出の3つの課題の文脈で説明する。
  論文  参考訳（メタデータ） (2024-05-09T12:03:38Z)
• Towards Interpretable Summary Evaluation via Allocation of Contextual Embeddings to Reference Text Topics [1.5749416770494706]
  多面的解釈可能な要約評価法(MISEM)は、要約の文脈トークンの埋め込みを、参照テキストで特定されたセマンティックトピックに割り当てることに基づいている。 MISEMはTAC'08データセット上の人間の判断と有望な.404ピアソン相関を達成している。
  論文  参考訳（メタデータ） (2022-10-25T17:09:08Z)
• Demystifying Unsupervised Semantic Correspondence Estimation [13.060538447838303]
  教師なし学習のレンズによる意味対応推定について検討する。 我々は、最近提案された複数の課題データセットにまたがる教師なしの手法を徹底的に評価した。 本稿では,事前学習した特徴の強さを活かし,トレーニング中のより優れた試合を奨励する,新しい教師なし対応手法を提案する。
  論文  参考訳（メタデータ） (2022-07-11T17:59:51Z)
• A Fine-grained Interpretability Evaluation Benchmark for Neural NLP [44.08113828762984]
  このベンチマークでは、感情分析、テキスト類似性、読解の3つのNLPタスクをカバーしている。 十分にコンパクトで包括的に注釈付けされたトークンレベルの合理性を提供します。 3つのサリエンシ手法を用いた3つの典型的なモデルについて実験を行い、その強度と弱さを解釈可能性の観点から明らかにした。
  論文  参考訳（メタデータ） (2022-05-23T07:37:04Z)
• Discriminative Attribution from Counterfactuals [64.94009515033984]
  本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。 本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-28T00:53:34Z)
• On the Faithfulness Measurements for Model Interpretations [100.2730234575114]
  ポストホックな解釈は、自然言語処理(NLP)モデルがどのように予測を行うかを明らかにすることを目的とする。 これらの問題に取り組むために,我々は,削除基準,解釈の感度,解釈の安定性という3つの基準から始める。 これらの忠実性概念のデシデラタムに動機づけられ、敵対的領域からのテクニックを採用する新しい解釈方法のクラスを導入する。
  論文  参考訳（メタデータ） (2021-04-18T09:19:44Z)
• Interpretable Deep Learning: Interpretations, Interpretability, Trustworthiness, and Beyond [49.93153180169685]
  一般に混同される2つの基本的な概念(解釈と解釈可能性)を紹介・明らかにする。 我々は,新しい分類法を提案することにより,異なる視点から,最近のいくつかの解釈アルゴリズムの設計を詳細に述べる。 信頼される」解釈アルゴリズムを用いてモデルの解釈可能性を評価する上での既存の作業をまとめる。
  論文  参考訳（メタデータ） (2021-03-19T08:40:30Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural Summarization Systems [121.78477833009671]
  データセット間設定下での様々な要約モデルの性能について検討する。 異なるドメインの5つのデータセットに対する11の代表的な要約システムに関する包括的な研究は、モデルアーキテクチャと生成方法の影響を明らかにしている。
  論文  参考訳（メタデータ） (2020-10-11T02:19:15Z)
• Region Comparison Network for Interpretable Few-shot Image Classification [97.97902360117368]
  新しいクラスのモデルをトレーニングするために、ラベル付きサンプルの限られた数だけを効果的に活用するための画像分類が提案されている。 本研究では,領域比較ネットワーク (RCN) と呼ばれる距離学習に基づく手法を提案する。 また,タスクのレベルからカテゴリへの解釈可能性の一般化も提案する。
  論文  参考訳（メタデータ） (2020-09-08T07:29:05Z)
• Semantic Sentiment Analysis Based on Probabilistic Graphical Models and Recurrent Neural Network [0.0]
  本研究の目的は,確率的グラフィカルモデルとリカレントニューラルネットワークに基づく感情分析を行うためのセマンティクスの利用を検討することである。 実験で使用されたデータセットは、IMDB映画レビュー、Amazon Consumer Product Review、Twitter Reviewデータセットである。
  論文  参考訳（メタデータ） (2020-08-06T11:59:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。