論文の概要: MaNtLE: Model-agnostic Natural Language Explainer
- arxiv url: http://arxiv.org/abs/2305.12995v1
- Date: Mon, 22 May 2023 12:58:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 16:02:39.047024
- Title: MaNtLE: Model-agnostic Natural Language Explainer
- Title(参考訳): MaNtLE: モデルに依存しない自然言語説明器
- Authors: Rakesh R. Menon, Kerem Zaman, Shashank Srivastava
- Abstract要約: モデルに依存しない自然言語説明器であるMaNtLEを導入し、複数の分類器の予測を解析する。
MaNtLEは、何千もの合成分類タスクでマルチタスクトレーニングを使用して、忠実な説明を生成する。
シミュレーションユーザスタディでは、平均して、MaNtLEの生成した説明は、LIMEやAnchorsの説明に比べて少なくとも11%忠実であることが示されている。
- 参考スコア(独自算出の注目度): 9.43206883360088
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding the internal reasoning behind the predictions of machine
learning systems is increasingly vital, given their rising adoption and
acceptance. While previous approaches, such as LIME, generate algorithmic
explanations by attributing importance to input features for individual
examples, recent research indicates that practitioners prefer examining
language explanations that explain sub-groups of examples. In this paper, we
introduce MaNtLE, a model-agnostic natural language explainer that analyzes
multiple classifier predictions and generates faithful natural language
explanations of classifier rationale for structured classification tasks.
MaNtLE uses multi-task training on thousands of synthetic classification tasks
to generate faithful explanations. Simulated user studies indicate that, on
average, MaNtLE-generated explanations are at least 11% more faithful compared
to LIME and Anchors explanations across three tasks. Human evaluations
demonstrate that users can better predict model behavior using explanations
from MaNtLE compared to other techniques
- Abstract(参考訳): 機械学習システムの採用と受容の増加を考えると、機械学習システムの予測の裏にある内的推論を理解することはますます重要になっている。
従来のLIMEのような手法は、個々の例の入力特徴に重きを置くことによって、アルゴリズムによる説明を生成するが、最近の研究では、実践者はサンプルのサブグループを説明する言語説明を調べることを好む。
本稿では,複数の分類子予測を解析し,構造化分類タスクにおける分類子論理の忠実な自然言語説明を生成するモデル非依存自然言語解説器mantleを提案する。
MaNtLEは、何千もの合成分類タスクでマルチタスクトレーニングを使用して、忠実な説明を生成する。
シミュレートされたユーザー研究によると、マントルが生成した説明は、平均して3つのタスクにわたるライムやアンカーの説明よりも少なくとも11%忠実である。
人的評価は、MaNtLEによる説明によるモデル行動の予測が他の手法と比較して優れていることを示す
関連論文リスト
- XForecast: Evaluating Natural Language Explanations for Time Series Forecasting [72.57427992446698]
時系列予測は、特に正確な予測に依存するステークホルダーにとって、意思決定を支援する。
伝統的に説明可能なAI(XAI)メソッドは、機能や時間的重要性を基盤とするものであり、専門家の知識を必要とすることが多い。
時系列データにおける複雑な因果関係のため,予測NLEの評価は困難である。
論文 参考訳(メタデータ) (2024-10-18T05:16:39Z) - Selective Explanations [14.312717332216073]
機械学習モデルは、1つの推論だけで特徴属性スコアを予測するために訓練される。
その効率にもかかわらず、償却された説明者は不正確な予測や誤解を招く説明を生み出すことができる。
そこで本稿では,低品質な説明文を生成する際の特徴帰属手法である選択的説明文を提案する。
論文 参考訳(メタデータ) (2024-05-29T23:08:31Z) - Explaining Text Similarity in Transformer Models [52.571158418102584]
説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。
両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。
我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
論文 参考訳(メタデータ) (2024-05-10T17:11:31Z) - Explainability for Large Language Models: A Survey [59.67574757137078]
大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。
本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
論文 参考訳(メタデータ) (2023-09-02T22:14:26Z) - Understanding Post-hoc Explainers: The Case of Anchors [6.681943980068051]
本稿では,テキストの判断を説明するために,少数の単語群をハイライトする規則に基づく解釈可能性法の理論解析を行う。
アルゴリズムを定式化し有用な洞察を提供した後、数学的にアンカーが有意義な結果をもたらすことを示す。
論文 参考訳(メタデータ) (2023-03-15T17:56:34Z) - Explanations from Large Language Models Make Small Reasoners Better [61.991772773700006]
提案手法は, 異なる設定において, 微調整ベースラインを連続的に, 著しく向上させることができることを示す。
副次的な利点として、人間の評価は、その予測を正当化するために高品質な説明を生成することができることを示す。
論文 参考訳(メタデータ) (2022-10-13T04:50:02Z) - Interpreting Language Models with Contrastive Explanations [99.7035899290924]
言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。
既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。
比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
論文 参考訳(メタデータ) (2022-02-21T18:32:24Z) - Towards Interpretable Natural Language Understanding with Explanations
as Latent Variables [146.83882632854485]
そこで本研究では,人間に注釈付き説明文の小さなセットだけを必要とする自然言語理解の枠組みを構築した。
我々のフレームワークは、ニューラルネットワークの基本的な推論過程をモデル化する潜在変数として、自然言語の説明を扱う。
論文 参考訳(メタデータ) (2020-10-24T02:05:56Z) - Explanations of Black-Box Model Predictions by Contextual Importance and
Utility [1.7188280334580195]
本稿では,初級者だけでなく専門家が容易に理解できる説明を抽出するために,文脈重要度(CI)と文脈実用性(CU)の概念を提案する。
本手法は,モデルを解釈可能なモデルに変換することなく予測結果を説明する。
カーセレクションの例とアイリスの花分類における説明の有用性を,完全な(つまり,個人の予測の原因)と対照的な説明を提示することによって示す。
論文 参考訳(メタデータ) (2020-05-30T06:49:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。