論文の概要: Testing the effectiveness of saliency-based explainability in NLP using randomized survey-based experiments

• arxiv url: http://arxiv.org/abs/2211.15351v1
• Date: Fri, 25 Nov 2022 08:49:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 14:35:04.686335
• Title: Testing the effectiveness of saliency-based explainability in NLP using randomized survey-based experiments
• Title（参考訳）: ランダム化サーベイベース実験によるNLPの塩分性に基づく説明可能性の検討
• Authors: Adel Rahimi, Shaurya Jain
• Abstract要約: Explainable AIにおける多くの研究は、NLPモデルの動作と予測に関する人間の洞察を与える説明方法を考案することを目的としている。 自然に人間の傾向やバイアスは、人間の説明を理解するのに役立ちます。 自然言語処理におけるサリエンシに基づくポストホック説明可能性手法の有効性を理解するために,ランダム化されたサーベイベース実験を設計した。
• 参考スコア（独自算出の注目度）: 0.6091702876917281
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the applications of Natural Language Processing (NLP) in sensitive areas like Political Profiling, Review of Essays in Education, etc. proliferate, there is a great need for increasing transparency in NLP models to build trust with stakeholders and identify biases. A lot of work in Explainable AI has aimed to devise explanation methods that give humans insights into the workings and predictions of NLP models. While these methods distill predictions from complex models like Neural Networks into consumable explanations, how humans understand these explanations is still widely unexplored. Innate human tendencies and biases can handicap the understanding of these explanations in humans, and can also lead to them misjudging models and predictions as a result. We designed a randomized survey-based experiment to understand the effectiveness of saliency-based Post-hoc explainability methods in Natural Language Processing. The result of the experiment showed that humans have a tendency to accept explanations with a less critical view.
• Abstract（参考訳）: 政治プロファイリングや教育におけるエッセイのレビューなどのセンシティブな分野における自然言語処理(NLP)の適用が拡大するにつれ、NLPモデルにおける透明性を高め、ステークホルダーとの信頼関係を構築し、バイアスを識別する大きな必要性がある。 Explainable AIにおける多くの研究は、NLPモデルの動作と予測に関する人間の洞察を与える説明方法を考案することを目的としている。 これらの手法はニューラルネットワークのような複雑なモデルからの予測を消費可能な説明に抽出するが、人間がこれらの説明を理解する方法はまだ解明されていない。 自然に人間の傾向や偏見は、これらの説明に対する人間の理解に役立ち、結果としてモデルや予測を誤った判断に導く可能性がある。 自然言語処理におけるサリエンシーに基づくポストホック説明可能性法の有効性を理解するために,ランダムなサーベイベース実験を考案した。 実験の結果、人間はより批判的な視点で説明を受け入れる傾向があることが判明した。

関連論文リスト

• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Faithfulness Tests for Natural Language Explanations [87.01093277918599]
  ニューラルモデルの説明は、その予測のためのモデルの意思決定プロセスを明らかにすることを目的としている。 近年の研究では,サリエンシマップやファクトファクトファクトダクトなどの説明を行う手法が誤解を招く可能性があることが示されている。 本研究は,自然言語の説明の忠実さを評価する上での課題について考察する。
  論文  参考訳（メタデータ） (2023-05-29T11:40:37Z)
• Counterfactuals of Counterfactuals: a back-translation-inspired approach to analyse counterfactual editors [3.4253416336476246]
  我々は、反事実的、対照的な説明の分析に焦点をあてる。 本稿では,新しい逆翻訳に基づく評価手法を提案する。 本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-05-26T16:04:28Z)
• Towards Faithful Model Explanation in NLP: A Survey [48.690624266879155]
  エンドツーエンドのニューラルネットワーク処理(NLP)モデルを理解するのは非常に難しい。 モデル説明の一側面は忠実さであり、すなわち、説明はモデルの予測の背後にある推論過程を正確に表現すべきである。 我々は,NLPにおける110以上のモデル説明法を忠実度レンズを用いてレビューした。
  論文  参考訳（メタデータ） (2022-09-22T21:40:51Z)
• A survey on improving NLP models with human explanations [10.14196008734383]
  人間の説明にアクセス可能なモデルをトレーニングすることで、ドメイン内および外部データ上でのデータ効率とモデルパフォーマンスを向上させることができる。 人間の学習のプロセスと類似することで、説明から学ぶことは、実りある人間と機械の相互作用を確立するための有望な方法となる。
  論文  参考訳（メタデータ） (2022-04-19T13:43:31Z)
• Post-hoc Interpretability for Neural NLP: A Survey [38.67924043709067]
  解釈可能性(英: Interpretability)は、人間にとって理解しやすい言葉で説明を提供することである。 この調査は、最近のポストホック解釈可能性法がいかに人間に説明を伝えるかの分類を提供する。
  論文  参考訳（メタデータ） (2021-08-10T18:00:14Z)
• You Can Do Better! If You Elaborate the Reason When Making Prediction [13.658942796267015]
  本論文では,大きな学習済み言語モデルと組み合わせた新しいニューラル予測フレームワークを提案し,予測を行い,それに対応する説明を同時に生成する。 中国の医学的複数選択質問応答, 英語自然言語推論, 常識質問回答タスクに関する予備的実証的研究を行った。 また,提案手法は,3つのデータセットに対する予測精度の向上も達成し,意思決定プロセスにおける説明の生成による予測のメリットが示唆された。
  論文  参考訳（メタデータ） (2021-03-27T14:55:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。