論文の概要: InterpretTime: a new approach for the systematic evaluation of
neural-network interpretability in time series classification
- arxiv url: http://arxiv.org/abs/2202.05656v1
- Date: Fri, 11 Feb 2022 14:55:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-02-14 13:59:11.246797
- Title: InterpretTime: a new approach for the systematic evaluation of
neural-network interpretability in time series classification
- Title(参考訳): InterpretTime:時系列分類におけるニューラルネットワークの解釈可能性の体系的評価のための新しいアプローチ
- Authors: Hugues Turb\'e, Mina Bjelogrlic, Christian Lovis, Gianmarco Mengaldo
- Abstract要約: 本稿では,時系列分類における解釈可能性の評価手法を提案する。
本稿では,ドメインエキスパートと機械データ解釈の類似性を評価するための新しい戦略を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present a novel approach to evaluate the performance of interpretability
methods for time series classification, and propose a new strategy to assess
the similarity between domain experts and machine data interpretation. The
novel approach leverages a new family of synthetic datasets and introduces new
interpretability evaluation metrics. The approach addresses several common
issues encountered in the literature, and clearly depicts how well an
interpretability method is capturing neural network's data usage, providing a
systematic interpretability evaluation framework. The new methodology
highlights the superiority of Shapley Value Sampling and Integrated Gradients
for interpretability in time-series classification tasks.
- Abstract(参考訳): 本稿では,時系列分類における解釈可能性法の性能を評価する新しい手法を提案し,ドメインエキスパートと機械データ解釈の類似性を評価する新しい手法を提案する。
この新しいアプローチは、新しい合成データセットのファミリーを活用し、新しい解釈可能性評価指標を導入する。
このアプローチは、文献で遭遇するいくつかの一般的な問題に対処し、ニューラルネットワークのデータ利用をいかにうまく捉えているかを明確に表現し、体系的な解釈可能性評価フレームワークを提供する。
新しい方法論は、時系列分類タスクにおける解釈可能性に対するシェープ値サンプリングと統合勾配の優位性を強調している。
関連論文リスト
- Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。
我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
論文 参考訳(メタデータ) (2024-09-23T07:55:35Z) - Revisiting the robustness of post-hoc interpretability methods [1.5020330976600738]
説明可能な人工知能(XAI)におけるポストホック解釈可能性法の役割
ポストホックの解釈可能性の異なる手法は、しばしば異なる結果をもたらし、その正確性に疑問を投げかける。
本稿では,ポストホック解釈可能性法を詳細に評価するためのアプローチと2つの新しい指標を提案する。
論文 参考訳(メタデータ) (2024-07-29T03:55:52Z) - Beyond ELBOs: A Large-Scale Evaluation of Variational Methods for Sampling [14.668634411361307]
標準化されたタスクスイートと幅広い性能基準を用いてサンプリング手法を評価するベンチマークを導入する。
モード崩壊の定量化のための既存のメトリクスについて検討し、この目的のために新しいメトリクスを導入する。
論文 参考訳(メタデータ) (2024-06-11T16:23:33Z) - Detecting Statements in Text: A Domain-Agnostic Few-Shot Solution [1.3654846342364308]
最先端のアプローチは通常、作成にコストがかかる大規模な注釈付きデータセット上の微調整モデルを含む。
本稿では,クレームに基づくテキスト分類タスクの共通パラダイムとして,定性的で多目的な少ショット学習手法の提案とリリースを行う。
本手法は,気候変動対策,トピック/スタンス分類,うつ病関連症状検出の3つの課題の文脈で説明する。
論文 参考訳(メタデータ) (2024-05-09T12:03:38Z) - Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
論文 参考訳(メタデータ) (2023-03-21T14:24:58Z) - Towards Interpretable Summary Evaluation via Allocation of Contextual
Embeddings to Reference Text Topics [1.5749416770494706]
多面的解釈可能な要約評価法(MISEM)は、要約の文脈トークンの埋め込みを、参照テキストで特定されたセマンティックトピックに割り当てることに基づいている。
MISEMはTAC'08データセット上の人間の判断と有望な.404ピアソン相関を達成している。
論文 参考訳(メタデータ) (2022-10-25T17:09:08Z) - Demystifying Unsupervised Semantic Correspondence Estimation [13.060538447838303]
教師なし学習のレンズによる意味対応推定について検討する。
我々は、最近提案された複数の課題データセットにまたがる教師なしの手法を徹底的に評価した。
本稿では,事前学習した特徴の強さを活かし,トレーニング中のより優れた試合を奨励する,新しい教師なし対応手法を提案する。
論文 参考訳(メタデータ) (2022-07-11T17:59:51Z) - Interpretation Quality Score for Measuring the Quality of
interpretability methods [12.659475399995717]
現在、解釈可能性法による説明の質を評価するための広く受け入れられた計量は存在しない。
本稿では,解釈可能性法による説明の質を定量化するための新しい指標を提案する。
6つの解釈可能性法を用いて3つのNLPタスクのメトリクスを計算し,その結果を示す。
論文 参考訳(メタデータ) (2022-05-24T17:57:55Z) - A Fine-grained Interpretability Evaluation Benchmark for Neural NLP [44.08113828762984]
このベンチマークでは、感情分析、テキスト類似性、読解の3つのNLPタスクをカバーしている。
十分にコンパクトで包括的に注釈付けされたトークンレベルの合理性を提供します。
3つのサリエンシ手法を用いた3つの典型的なモデルについて実験を行い、その強度と弱さを解釈可能性の観点から明らかにした。
論文 参考訳(メタデータ) (2022-05-23T07:37:04Z) - Towards Better Understanding Attribution Methods [77.1487219861185]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
論文 参考訳(メタデータ) (2022-05-20T20:50:17Z) - Discriminative Attribution from Counterfactuals [64.94009515033984]
本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。
本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
論文 参考訳(メタデータ) (2021-09-28T00:53:34Z) - On Sample Based Explanation Methods for NLP:Efficiency, Faithfulness,
and Semantic Evaluation [23.72825603188359]
我々は、任意のテキストシーケンスを説明単位として許容することにより、説明の解釈可能性を向上させることができる。
本研究では,人間による説明の判断に適合する意味に基づく評価指標を提案する。
論文 参考訳(メタデータ) (2021-06-09T00:49:56Z) - On the Faithfulness Measurements for Model Interpretations [100.2730234575114]
ポストホックな解釈は、自然言語処理(NLP)モデルがどのように予測を行うかを明らかにすることを目的とする。
これらの問題に取り組むために,我々は,削除基準,解釈の感度,解釈の安定性という3つの基準から始める。
これらの忠実性概念のデシデラタムに動機づけられ、敵対的領域からのテクニックを採用する新しい解釈方法のクラスを導入する。
論文 参考訳(メタデータ) (2021-04-18T09:19:44Z) - Interpretable Deep Learning: Interpretations, Interpretability,
Trustworthiness, and Beyond [49.93153180169685]
一般に混同される2つの基本的な概念(解釈と解釈可能性)を紹介・明らかにする。
我々は,新しい分類法を提案することにより,異なる視点から,最近のいくつかの解釈アルゴリズムの設計を詳細に述べる。
信頼される」解釈アルゴリズムを用いてモデルの解釈可能性を評価する上での既存の作業をまとめる。
論文 参考訳(メタデータ) (2021-03-19T08:40:30Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳(メタデータ) (2020-11-13T10:53:27Z) - CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural
Summarization Systems [121.78477833009671]
データセット間設定下での様々な要約モデルの性能について検討する。
異なるドメインの5つのデータセットに対する11の代表的な要約システムに関する包括的な研究は、モデルアーキテクチャと生成方法の影響を明らかにしている。
論文 参考訳(メタデータ) (2020-10-11T02:19:15Z) - Region Comparison Network for Interpretable Few-shot Image
Classification [97.97902360117368]
新しいクラスのモデルをトレーニングするために、ラベル付きサンプルの限られた数だけを効果的に活用するための画像分類が提案されている。
本研究では,領域比較ネットワーク (RCN) と呼ばれる距離学習に基づく手法を提案する。
また,タスクのレベルからカテゴリへの解釈可能性の一般化も提案する。
論文 参考訳(メタデータ) (2020-09-08T07:29:05Z) - Semantic Sentiment Analysis Based on Probabilistic Graphical Models and
Recurrent Neural Network [0.0]
本研究の目的は,確率的グラフィカルモデルとリカレントニューラルネットワークに基づく感情分析を行うためのセマンティクスの利用を検討することである。
実験で使用されたデータセットは、IMDB映画レビュー、Amazon Consumer Product Review、Twitter Reviewデータセットである。
論文 参考訳(メタデータ) (2020-08-06T11:59:00Z) - On quantitative aspects of model interpretability [0.0]
これらの次元に沿った手法は、2つの概念的部分、すなわち抽出器と実際の説明可能性法に含めることができると論じる。
異なるベンチマークタスクのメトリクスを実験的に検証し、そのタスクに最も適したメソッドの選択において、実践者の指導にどのように使用できるかを示す。
論文 参考訳(メタデータ) (2020-07-15T10:05:05Z) - Interpretable Off-Policy Evaluation in Reinforcement Learning by
Highlighting Influential Transitions [48.91284724066349]
強化学習におけるオフ政治評価は、医療や教育などの領域における将来の成果を改善するために観察データを使用する機会を提供する。
信頼区間のような従来の尺度は、ノイズ、限られたデータ、不確実性のために不十分である可能性がある。
我々は,人間専門家が政策評価評価評価の妥当性を分析できるように,ハイブリッドAIシステムとして機能する手法を開発した。
論文 参考訳(メタデータ) (2020-02-10T00:26:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。