論文の概要: Multi-resolution Interpretation and Diagnostics Tool for Natural Language Classifiers

• arxiv url: http://arxiv.org/abs/2303.03542v1
• Date: Mon, 6 Mar 2023 22:59:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-08 17:02:01.812110
• Title: Multi-resolution Interpretation and Diagnostics Tool for Natural Language Classifiers
• Title（参考訳）: 自然言語分類のためのマルチレゾリューション解釈・診断ツール
• Authors: Peyman Jalali, Nengfeng Zhou, Yufei Yu
• Abstract要約: 本稿では,意味論的に相互に関連のある単語のセグメントやクラスタによって,よりフレキシブルなモデル説明可能性要約を作成することを目的とする。 さらに,NLPモデルの根本原因分析手法を提案し,各セグメントのFalse PositiveとFalse Negativeを解析した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Developing explainability methods for Natural Language Processing (NLP) models is a challenging task, for two main reasons. First, the high dimensionality of the data (large number of tokens) results in low coverage and in turn small contributions for the top tokens, compared to the overall model performance. Second, owing to their textual nature, the input variables, after appropriate transformations, are effectively binary (presence or absence of a token in an observation), making the input-output relationship difficult to understand. Common NLP interpretation techniques do not have flexibility in resolution, because they usually operate at word-level and provide fully local (message level) or fully global (over all messages) summaries. The goal of this paper is to create more flexible model explainability summaries by segments of observation or clusters of words that are semantically related to each other. In addition, we introduce a root cause analysis method for NLP models, by analyzing representative False Positive and False Negative examples from different segments. At the end, we illustrate, using a Yelp review data set with three segments (Restaurant, Hotel, and Beauty), that exploiting group/cluster structures in words and/or messages can aid in the interpretation of decisions made by NLP models and can be utilized to assess the model's sensitivity or bias towards gender, syntax, and word meanings.
• Abstract（参考訳）: 自然言語処理(NLP)モデルのための説明可能性手法の開発は、2つの主な理由から難しい課題である。 第一に、データの高次元性(大きなトークン数)は、全体のモデルパフォーマンスと比較して、低いカバレッジと上位トークンへの小さなコントリビューションをもたらします。 第二に、テキストの性質から、適切な変換の後、入力変数は事実上バイナリ(観察におけるトークンの存在または欠如)であり、入力と出力の関係を理解するのが難しくなる。 一般的なNLP解釈技術は、通常単語レベルで動作し、完全にローカル(メッセージレベル)または完全グローバル(全メッセージ以上)の要約を提供するため、解像度の柔軟性を持たない。 本論文の目的は,観察のセグメントや意味的に関連づけられた単語のクラスタによって,より柔軟なモデル説明可能性要約を作成することである。 また,nlpモデルに対する根本原因分析法を,異なるセグメントからの代表的偽陽性例と偽陰性例を解析することにより紹介する。 最後に、3つのセグメント(restaurant、hotel、beauth)からなるyelpレビューデータセットを使用することで、単語やメッセージのグループ/クラスタ構造を活用することで、nlpモデルによる意思決定の解釈を支援し、性別、構文、単語の意味に対するモデルの感受性やバイアスを評価することができる。

関連論文リスト

• Explaining Datasets in Words: Statistical Models with Natural Language Parameters [66.69456696878842]
  本稿では, クラスタリング, 時系列, 分類モデルなど, 自然言語の述語によってパラメータ化される統計モデル群を紹介する。 当社のフレームワークは、ユーザチャット対話の分類、時間の経過とともにどのように進化するかの特徴付け、一方の言語モデルが他方よりも優れているカテゴリを見つけることなど、幅広い問題に適用しています。
  論文  参考訳（メタデータ） (2024-09-13T01:40:20Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• "You Are An Expert Linguistic Annotator": Limits of LLMs as Analyzers of Abstract Meaning Representation [60.863629647985526]
  文意味構造の解析において, GPT-3, ChatGPT, および GPT-4 モデルの成功と限界について検討した。 モデルはAMRの基本形式を確実に再現でき、しばしばコアイベント、引数、修飾子構造をキャプチャできる。 全体としては,これらのモデルではセマンティック構造の側面を捉えることができるが,完全に正確なセマンティック解析や解析をサポートする能力には重要な制限が残されている。
  論文  参考訳（メタデータ） (2023-10-26T21:47:59Z)
• Towards LLM-guided Causal Explainability for Black-box Text Classifiers [16.36602400590088]
  我々は,近年の大規模言語モデルにおける命令追従とテキスト理解機能を活用して,因果的説明可能性を高めることを目指している。 提案する3ステップパイプラインは,既製のLCMを用いて,入力テキスト中の潜時的・未観測な特徴を識別する。 我々は,複数のNLPテキスト分類データセットを用いたパイプライン実験を行い,興味深い,有望な結果を示した。
  論文  参考訳（メタデータ） (2023-09-23T11:22:28Z)
• A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
  我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。 主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。 コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
  論文  参考訳（メタデータ） (2022-06-19T08:55:07Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• Hierarchical Interpretation of Neural Text Classification [31.95426448656938]
  本稿では,Hintと呼ばれる階層型インタプリタ型ニューラルテキスト分類器を提案する。 レビューデータセットとニュースデータセットの両方の実験結果から,提案手法は既存の最先端テキスト分類器と同等のテキスト分類結果が得られることが示された。
  論文  参考訳（メタデータ） (2022-02-20T11:15:03Z)
• Exploring Transitivity in Neural NLI Models through Veridicality [39.845425535943534]
  推論関係の推移性に着目する。推論を体系的に描く基本的な性質である。 推移性をキャプチャするモデルは、基本的な推論パターンを構成し、新しい推論を引き出すことができる。 現在のNLIモデルは、推移性推論タスクで一貫してうまく機能しないことがわかります。
  論文  参考訳（メタデータ） (2021-01-26T11:18:35Z)
• Self-Explaining Structures Improve NLP Models [25.292847674586614]
  我々は,NLPにおけるディープラーニングモデルのための,シンプルで汎用的で効果的な自己説明フレームワークを提案する。 自己説明的特徴のニューラルモデルでは、自己説明的な性質がなければ、それよりも優れたパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2020-12-03T09:32:05Z)
• Coreferential Reasoning Learning for Language Representation [88.14248323659267]
  本稿では,コンテキスト内でコアファーデンシャル関係をキャプチャ可能な新しい言語表現モデルCorefBERTを提案する。 実験の結果,既存のベースラインモデルと比較して,CorefBERTは下流のNLPタスクにおいて一貫した大幅な改善を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-04-15T03:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。