論文の概要: iSEA: An Interactive Pipeline for Semantic Error Analysis of NLP Models

• arxiv url: http://arxiv.org/abs/2203.04408v1
• Date: Tue, 8 Mar 2022 21:31:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-10 16:22:29.784096
• Title: iSEA: An Interactive Pipeline for Semantic Error Analysis of NLP Models
• Title（参考訳）: iSEA:NLPモデルのセマンティックエラー解析のためのインタラクティブパイプライン
• Authors: Jun Yuan, Jesse Vig, Nazneen Rajani
• Abstract要約: iSEAは、NLPモデルにおけるセマンティックエラー解析のためのインタラクティブパイプラインである。 ヒューマン・イン・ザ・ループ・インタラクティブ・システムのコンテキストにおいて、高いエラー率で意味論的に接地されたサブポピュレーションを自動的に発見する。 トークンと概念レベルでエラーを起こしやすいサブポピュレーションのセマンティック記述と、事前定義された高レベル機能をサポートする。
• 参考スコア（独自算出の注目度）: 21.45527092763973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Error analysis in NLP models is essential to successful model development and deployment. One common approach for diagnosing errors is to identify subpopulations in the dataset where the model produces the most errors. However, existing approaches typically define subpopulations based on pre-defined features, which requires users to form hypotheses of errors in advance. To complement these approaches, we propose iSEA, an Interactive Pipeline for Semantic Error Analysis in NLP Models, which automatically discovers semantically-grounded subpopulations with high error rates in the context of a human-in-the-loop interactive system. iSEA enables model developers to learn more about their model errors through discovered subpopulations, validate the sources of errors through interactive analysis on the discovered subpopulations, and test hypotheses about model errors by defining custom subpopulations. The tool supports semantic descriptions of error-prone subpopulations at the token and concept level, as well as pre-defined higher-level features. Through use cases and expert interviews, we demonstrate how iSEA can assist error understanding and analysis.
• Abstract（参考訳）: NLPモデルのエラー解析は、モデルの開発とデプロイの成功に不可欠である。 エラーを診断するための一般的なアプローチは、モデルが最もエラーを発生させるデータセット内のサブポピュレーションを特定することである。 しかしながら、既存のアプローチでは、事前に定義された機能に基づいてサブポピュレーションを定義するのが一般的である。 これらのアプローチを補完するため,我々は,nlpモデルにおける意味的誤り解析のための対話的パイプラインであるiseaを提案する。 iSEAにより、モデル開発者は、発見されたサブポピュレーションを通じてモデルエラーについてより深く学ぶことができ、発見されたサブポピュレーションのインタラクティブ分析を通じてエラーソースを検証することができ、カスタムサブポピュレーションを定義することでモデルエラーに関する仮説をテストすることができる。 このツールはトークンと概念レベルでエラーを起こしやすいサブポピュレーションのセマンティック記述と、事前に定義された高レベル機能をサポートする。 ユースケースと専門家インタビューを通じて、iSEAがエラー理解と分析をいかに支援できるかを実証する。

関連論文リスト

• Automatic Discovery and Assessment of Interpretable Systematic Errors in Semantic Segmentation [0.5242869847419834]
  本稿では,セグメンテーションモデルにおける体系的誤りを発見するための新しい手法を提案する。 マルチモーダル・ファンデーション・モデルを用いてエラーを検索し、誤った性質とともに概念的リンクを用いてこれらのエラーの体系的性質を研究する。 我々の研究は、これまでセマンティックセグメンテーションで過小評価されてきたモデル分析と介入への道を開く。
  論文  参考訳（メタデータ） (2024-11-16T17:31:37Z)
• DISCO: DISCovering Overfittings as Causal Rules for Text Classification Models [6.369258625916601]
  ポストホックの解釈可能性法は、モデルの意思決定プロセスを完全に捉えるのに失敗する。 本稿では,グローバルなルールベースの説明を見つけるための新しい手法であるdisCOを紹介する。 DISCOは対話的な説明をサポートし、人間の検査者がルールベースの出力で突発的な原因を区別できるようにする。
  論文  参考訳（メタデータ） (2024-11-07T12:12:44Z)
• DECIDER: Leveraging Foundation Model Priors for Improved Model Failure Detection and Explanation [18.77296551727931]
  本稿では,大規模言語モデル (LLM) と視覚言語モデル (VLM) の先行情報を利用した画像モデルの故障検出手法であるDECIDERを提案する。 DECIDERは一貫して最先端の故障検出性能を達成し、マシューズ相関係数全体のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-08-01T07:08:11Z)
• Rethinking Masked Language Modeling for Chinese Spelling Correction [70.85829000570203]
  言語モデルと誤りモデルという2つの異なるモデルによる共同決定として,中国語のスペル補正(CSC)について検討する。 細調整されたBERTは、言語モデルに不適合なままエラーモデルに過度に適合する傾向にあり、その結果、分布外エラーパターンへの一般化が不十分であることがわかった。 微調整中に入力シーケンスから20%の非エラートークンをランダムにマスキングする非常に単純な戦略は、エラーモデルを犠牲にすることなく、はるかに優れた言語モデルを学ぶのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-05-28T13:19:12Z)
• Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors [80.22825549235556]
  既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。 我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。 実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-02-17T16:20:33Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
  我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。 主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。 コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
  論文  参考訳（メタデータ） (2022-06-19T08:55:07Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• Translation Error Detection as Rationale Extraction [36.616561917049076]
  本稿では,現在最先端の文レベルQEモデルの振る舞いについて検討し,翻訳誤りを検出するために実際に説明が利用できることを示す。 単語レベルQEのための新しい半教師付き手法を導入し、(ii)特徴属性の妥当性を評価するための新しいベンチマークとしてQEタスクを提案する。
  論文  参考訳（メタデータ） (2021-08-27T09:35:14Z)
• When and Why does a Model Fail? A Human-in-the-loop Error Detection Framework for Sentiment Analysis [12.23497603132782]
  本稿では,説明可能な特徴に基づく感情分析のための誤り検出フレームワークを提案する。 実験結果から,ループ内介入が限定された場合,未確認データの誤モデル予測を高精度に検出できることが示唆された。
  論文  参考訳（メタデータ） (2021-06-02T05:45:42Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。