論文の概要: iSEA: An Interactive Pipeline for Semantic Error Analysis of NLP Models
- arxiv url: http://arxiv.org/abs/2203.04408v1
- Date: Tue, 8 Mar 2022 21:31:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-10 16:22:29.784096
- Title: iSEA: An Interactive Pipeline for Semantic Error Analysis of NLP Models
- Title(参考訳): iSEA:NLPモデルのセマンティックエラー解析のためのインタラクティブパイプライン
- Authors: Jun Yuan, Jesse Vig, Nazneen Rajani
- Abstract要約: iSEAは、NLPモデルにおけるセマンティックエラー解析のためのインタラクティブパイプラインである。
ヒューマン・イン・ザ・ループ・インタラクティブ・システムのコンテキストにおいて、高いエラー率で意味論的に接地されたサブポピュレーションを自動的に発見する。
トークンと概念レベルでエラーを起こしやすいサブポピュレーションのセマンティック記述と、事前定義された高レベル機能をサポートする。
- 参考スコア(独自算出の注目度): 21.45527092763973
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Error analysis in NLP models is essential to successful model development and
deployment. One common approach for diagnosing errors is to identify
subpopulations in the dataset where the model produces the most errors.
However, existing approaches typically define subpopulations based on
pre-defined features, which requires users to form hypotheses of errors in
advance. To complement these approaches, we propose iSEA, an Interactive
Pipeline for Semantic Error Analysis in NLP Models, which automatically
discovers semantically-grounded subpopulations with high error rates in the
context of a human-in-the-loop interactive system. iSEA enables model
developers to learn more about their model errors through discovered
subpopulations, validate the sources of errors through interactive analysis on
the discovered subpopulations, and test hypotheses about model errors by
defining custom subpopulations. The tool supports semantic descriptions of
error-prone subpopulations at the token and concept level, as well as
pre-defined higher-level features. Through use cases and expert interviews, we
demonstrate how iSEA can assist error understanding and analysis.
- Abstract(参考訳): NLPモデルのエラー解析は、モデルの開発とデプロイの成功に不可欠である。
エラーを診断するための一般的なアプローチは、モデルが最もエラーを発生させるデータセット内のサブポピュレーションを特定することである。
しかしながら、既存のアプローチでは、事前に定義された機能に基づいてサブポピュレーションを定義するのが一般的である。
これらのアプローチを補完するため,我々は,nlpモデルにおける意味的誤り解析のための対話的パイプラインであるiseaを提案する。
iSEAにより、モデル開発者は、発見されたサブポピュレーションを通じてモデルエラーについてより深く学ぶことができ、発見されたサブポピュレーションのインタラクティブ分析を通じてエラーソースを検証することができ、カスタムサブポピュレーションを定義することでモデルエラーに関する仮説をテストすることができる。
このツールはトークンと概念レベルでエラーを起こしやすいサブポピュレーションのセマンティック記述と、事前に定義された高レベル機能をサポートする。
ユースケースと専門家インタビューを通じて、iSEAがエラー理解と分析をいかに支援できるかを実証する。
関連論文リスト
- Modeling Uncertainty in Personalized Emotion Prediction with Normalizing
Flows [6.32047610997385]
本研究では,条件付き正規化フローを用いて予測の不確かさを捉える新しい手法を提案する。
感情認識とヘイトスピーチを含む3つの主観的NLP課題に対して,本手法の有効性を検証した。
開発した手法によって得られた情報により,従来の手法を超越したハイブリッドモデルの構築が可能となった。
論文 参考訳(メタデータ) (2023-12-10T23:21:41Z) - LafitE: Latent Diffusion Model with Feature Editing for Unsupervised
Multi-class Anomaly Detection [12.596635603629725]
我々は,通常のデータのみにアクセス可能な場合に,複数のクラスに属するオブジェクトから異常を検出する統一モデルを開発した。
まず、生成的アプローチについて検討し、再構成のための潜伏拡散モデルについて検討する。
「拡散モデルの入力特徴空間を修正し、アイデンティティショートカットをさらに緩和する特徴編集戦略を導入する。」
論文 参考訳(メタデータ) (2023-07-16T14:41:22Z) - Rethinking Masked Language Modeling for Chinese Spelling Correction [70.85829000570203]
言語モデルと誤りモデルという2つの異なるモデルによる共同決定として,中国語のスペル補正(CSC)について検討する。
細調整されたBERTは、言語モデルに不適合なままエラーモデルに過度に適合する傾向にあり、その結果、分布外エラーパターンへの一般化が不十分であることがわかった。
微調整中に入力シーケンスから20%の非エラートークンをランダムにマスキングする非常に単純な戦略は、エラーモデルを犠牲にすることなく、はるかに優れた言語モデルを学ぶのに十分であることを示す。
論文 参考訳(メタデータ) (2023-05-28T13:19:12Z) - Towards Fine-Grained Information: Identifying the Type and Location of
Translation Errors [80.22825549235556]
既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。
我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。
実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
論文 参考訳(メタデータ) (2023-02-17T16:20:33Z) - Discover, Explanation, Improvement: An Automatic Slice Detection
Framework for Natural Language Processing [72.14557106085284]
スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。
本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。
評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
論文 参考訳(メタデータ) (2022-11-08T19:00:00Z) - A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。
主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。
コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
論文 参考訳(メタデータ) (2022-06-19T08:55:07Z) - NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task
Models [54.184609286094044]
補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。
提案手法は,従来の微調整モデルと比較して平均55%改善した。
論文 参考訳(メタデータ) (2021-08-29T06:58:28Z) - Translation Error Detection as Rationale Extraction [36.616561917049076]
本稿では,現在最先端の文レベルQEモデルの振る舞いについて検討し,翻訳誤りを検出するために実際に説明が利用できることを示す。
単語レベルQEのための新しい半教師付き手法を導入し、(ii)特徴属性の妥当性を評価するための新しいベンチマークとしてQEタスクを提案する。
論文 参考訳(メタデータ) (2021-08-27T09:35:14Z) - When and Why does a Model Fail? A Human-in-the-loop Error Detection
Framework for Sentiment Analysis [12.23497603132782]
本稿では,説明可能な特徴に基づく感情分析のための誤り検出フレームワークを提案する。
実験結果から,ループ内介入が限定された場合,未確認データの誤モデル予測を高精度に検出できることが示唆された。
論文 参考訳(メタデータ) (2021-06-02T05:45:42Z) - Debugging Tests for Model Explanations [18.073554618753395]
テストされたメソッドは、急激なバックグラウンドバグを診断することができるが、誤ってラベル付けされたトレーニング例を決定的に識別することはできない。
被験者は属性を用いて欠陥モデルを特定するのに失敗するが、主にモデル予測に頼っている。
論文 参考訳(メタデータ) (2020-11-10T22:23:25Z) - Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。
そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
論文 参考訳(メタデータ) (2020-01-28T22:09:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。