論文の概要: When and Why does a Model Fail? A Human-in-the-loop Error Detection Framework for Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2106.00954v1
• Date: Wed, 2 Jun 2021 05:45:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 06:20:03.190379
• Title: When and Why does a Model Fail? A Human-in-the-loop Error Detection Framework for Sentiment Analysis
• Title（参考訳）: モデルがいつ、なぜ失敗するのか? 感性分析のためのヒューマン・イン・ザ・ループ誤差検出フレームワーク
• Authors: Zhe Liu, Yufan Guo, Jalal Mahmud
• Abstract要約: 本稿では,説明可能な特徴に基づく感情分析のための誤り検出フレームワークを提案する。 実験結果から,ループ内介入が限定された場合,未確認データの誤モデル予測を高精度に検出できることが示唆された。
• 参考スコア（独自算出の注目度）: 12.23497603132782
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although deep neural networks have been widely employed and proven effective in sentiment analysis tasks, it remains challenging for model developers to assess their models for erroneous predictions that might exist prior to deployment. Once deployed, emergent errors can be hard to identify in prediction run-time and impossible to trace back to their sources. To address such gaps, in this paper we propose an error detection framework for sentiment analysis based on explainable features. We perform global-level feature validation with human-in-the-loop assessment, followed by an integration of global and local-level feature contribution analysis. Experimental results show that, given limited human-in-the-loop intervention, our method is able to identify erroneous model predictions on unseen data with high precision.
• Abstract（参考訳）: ディープニューラルネットワークは感情分析タスクに広く採用され、有効であることが証明されているが、モデル開発者が、デプロイ前に存在する可能性のある誤った予測のためにモデルを評価することは依然として困難である。 一度デプロイすると、創発的エラーは予測実行時に識別しにくくなり、ソースへのトレースが不可能になる。 そこで本研究では,説明可能な特徴に基づく感情分析のための誤り検出フレームワークを提案する。 我々は,グローバルレベルの特徴量評価を行い,続いてグローバルレベルの特徴量分析とローカルレベルの特徴量分析を統合した。 実験結果から,ループ内介入の制限により,未確認データの誤モデル予測を高精度に検出できることがわかった。

関連論文リスト

• Causal-discovery-based root-cause analysis and its application in time-series prediction error diagnosis [8.309366167066278]
  ヒューリスティック帰属法は役に立つが、しばしば真の因果関係を捉えることに失敗し、不正確な帰属をもたらす。 本稿では、予測誤差と説明変数の因果関係を推定する因果因果因果因果関係解析法(CD-RCA)を提案する。 合成誤差データをシミュレートすることで、CD-RCAはシェープリー値による予測誤差の外れ値への可変寄与を識別できる。
  論文  参考訳（メタデータ） (2024-11-11T13:48:13Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• An Ambiguity Measure for Recognizing the Unknowns in Deep Learning [0.0]
  深層ニューラルネットワークの学習範囲から, 深部ニューラルネットワークの理解について検討する。 任意のモデルに対する入力のあいまいさを定量化する尺度を提案する。
  論文  参考訳（メタデータ） (2023-12-11T02:57:12Z)
• PAGER: A Framework for Failure Analysis of Deep Regression Models [27.80057763697904]
  PAGER (Principled Analysis of Generalization Errors in Regressors) は,深部回帰器の故障を系統的に検出し,特徴付けるフレームワークである。 深層モデルにおけるアンカードトレーニングの原理に基づいて、PAGERは、エピステマ性不確実性と相補的多様体の非整合スコアを統一し、サンプルを異なるリスクレジームに正確に整理する。
  論文  参考訳（メタデータ） (2023-09-20T00:37:35Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• Generalizability Analysis of Graph-based Trajectory Predictor with Vectorized Representation [29.623692599892365]
  軌道予測は自動運転車にとって不可欠な課題の1つである。 機械学習の最近の進歩は、一連の高度な軌道予測アルゴリズムを生み出した。
  論文  参考訳（メタデータ） (2022-08-06T20:19:52Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Estimating Generalization under Distribution Shifts via Domain-Invariant Representations [75.74928159249225]
  未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。 結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
  論文  参考訳（メタデータ） (2020-07-06T17:21:24Z)
• A comprehensive study on the prediction reliability of graph neural networks for virtual screening [0.0]
  本稿では,モデルアーキテクチャ,正規化手法,損失関数が分類結果の予測性能および信頼性に与える影響について検討する。 その結果,高い成功率を達成するためには,正則化と推論手法の正しい選択が重要であることが明らかとなった。
  論文  参考訳（メタデータ） (2020-03-17T10:13:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。