論文の概要: Saliency Map Verbalization: Comparing Feature Importance Representations
from Model-free and Instruction-based Methods
- arxiv url: http://arxiv.org/abs/2210.07222v2
- Date: Tue, 30 May 2023 14:34:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 02:25:20.233048
- Title: Saliency Map Verbalization: Comparing Feature Importance Representations
from Model-free and Instruction-based Methods
- Title（参考訳）: saliency map の動詞化:モデルフリーと命令ベースによる特徴重要表現の比較
- Authors: Nils Feldhus, Leonhard Hennig, Maximilian Dustin Nasert, Christopher
Ebert, Robert Schwarzenberg, Sebastian M\"oller
- Abstract要約: サージェンシマップは、重要な入力特徴を特定することによって、ニューラルネットワークの予測を説明することができる。
我々は,サリエンシマップを自然言語に翻訳する未調査課題を定式化する。
本研究では,従来の特徴強調表現と比較した2つの新手法(検索ベースおよび命令ベース言語化)を比較した。
- 参考スコア（独自算出の注目度）: 6.018950511093273
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Saliency maps can explain a neural model's predictions by identifying
important input features. They are difficult to interpret for laypeople,
especially for instances with many features. In order to make them more
accessible, we formalize the underexplored task of translating saliency maps
into natural language and compare methods that address two key challenges of
this approach -- what and how to verbalize. In both automatic and human
evaluation setups, using token-level attributions from text classification
tasks, we compare two novel methods (search-based and instruction-based
verbalizations) against conventional feature importance representations
(heatmap visualizations and extractive rationales), measuring simulatability,
faithfulness, helpfulness and ease of understanding. Instructing GPT-3.5 to
generate saliency map verbalizations yields plausible explanations which
include associations, abstractive summarization and commonsense reasoning,
achieving by far the highest human ratings, but they are not faithfully
capturing numeric information and are inconsistent in their interpretation of
the task. In comparison, our search-based, model-free verbalization approach
efficiently completes templated verbalizations, is faithful by design, but
falls short in helpfulness and simulatability. Our results suggest that
saliency map verbalization makes feature attribution explanations more
comprehensible and less cognitively challenging to humans than conventional
representations.
- Abstract（参考訳）: 塩分マップは、重要な入力特徴を識別することで、神経モデルの予測を説明することができる。
平凡な人、特に多くの特徴のある人には解釈が難しい。
よりアクセシビリティを高めるために、私たちは、自然言語にサリエンシマップを翻訳する未調査のタスクを形式化し、このアプローチの2つの重要な課題、すなわち、何とどのように言語化すべきかに対処する手法を比較します。
テキスト分類タスクからのトークンレベルの帰属を用いた自動評価と人間評価のいずれにおいても,従来の特徴重要表現(ヒートマップの可視化と抽出的合理化)と,同時性,忠実性,有用性,理解の容易さという2つの新しい手法(検索ベースと命令ベースの動詞化)を比較した。
gpt-3.5にサリエンシーマップを生成するよう指示すると、連想、抽象要約、常識推論を含む説得可能な説明が得られ、最高評価を極端に達成するが、それらは数値情報を忠実に捉えてはおらず、タスクの解釈に一貫性がない。
比較として,我々の検索に基づくモデル自由動詞化手法は,テンプレート言語化を効率よく完了し,設計に忠実であるが,有用性やシミュラビリティに乏しい。
以上の結果から,サリエンシーマップの動詞化により,特徴帰属説明は,従来の表現よりも理解しやすく,認知的にも困難であることが示唆された。
関連論文リスト
- ImpScore: A Learnable Metric For Quantifying The Implicitness Level of Language [40.4052848203136]
インプシット言語は, 自然言語処理システムにおいて, 正確なテキスト理解を実現し, ユーザとの自然な対話を促進するために不可欠である。
本稿では,外部参照に頼ることなく,言語の暗黙度を定量化するスカラー計量を開発した。
ImpScoreは、12,580$(単純文、明示文)のペアからなる特別なキュレートされたデータセットに対して、ペアのコントラスト学習を使用してトレーニングされる。
論文 参考訳（メタデータ） (2024-11-07T20:23:29Z) - TAGExplainer: Narrating Graph Explanations for Text-Attributed Graph Learning Models [14.367754016281934]
本稿では,TAG学習のための自然言語記述法であるTAGExplainerを提案する。
実世界のシナリオにおける注釈付き真実説明の欠如に対処するため,まず,サリエンシに基づく説明からモデルの判断を捉える擬似ラベルを生成することを提案する。
高品質な擬似ラベルを使用して、エンド・ツー・エンドの説明生成モデルを訓練する。
論文 参考訳（メタデータ） (2024-10-20T03:55:46Z) - Pixel Sentence Representation Learning [67.4775296225521]
本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。
タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。
我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
論文 参考訳（メタデータ） (2024-02-13T02:46:45Z) - Representing visual classification as a linear combination of words [0.0]
視覚分類タスクの言語ベースの記述子を識別するために,視覚言語モデルを用いた説明可能性戦略を提案する。
画像とテキストの間に予め訓練された結合埋め込み空間を利用することで,新しい分類課題を単語の線形結合として推定する。
その結果,ドメイン特化言語訓練の欠如にもかかわらず,結果として得られた記述子は臨床知識とほぼ一致していることが判明した。
論文 参考訳（メタデータ） (2023-11-18T02:00:20Z) - Interpreting Language Models with Contrastive Explanations [99.7035899290924]
言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。
既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。
比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
論文 参考訳（メタデータ） (2022-02-21T18:32:24Z) - More Than Words: Towards Better Quality Interpretations of Text
Classifiers [16.66535643383862]
MLモデルの入力インタフェースを考えると、トークンベースの解釈性は便利な第1選択であるが、あらゆる状況において最も効果的ではないことを示す。
1)ランダム化テストにより測定されるほど頑健であり,2)SHAPのような近似に基づく手法を用いた場合の変動性が低く,3)言語的コヒーレンスがより高い水準にある場合の人間には理解できない。
論文 参考訳（メタデータ） (2021-12-23T10:18:50Z) - Sentiment analysis in tweets: an assessment study from classical to
modern text representation models [59.107260266206445]
Twitterで公開された短いテキストは、豊富な情報源として大きな注目を集めている。
非公式な言語スタイルや騒々しい言語スタイルといったそれらの固有の特徴は、多くの自然言語処理(NLP)タスクに挑戦し続けている。
本研究では,22データセットの豊富なコレクションを用いて,ツイートに表される感情を識別する既存言語モデルの評価を行った。
論文 参考訳（メタデータ） (2021-05-29T21:05:28Z) - Understanding Synonymous Referring Expressions via Contrastive Features [105.36814858748285]
画像とオブジェクトインスタンスレベルでのコントラスト機能を学ぶためのエンドツーエンドのトレーニング可能なフレームワークを開発しています。
提案アルゴリズムをいくつかのベンチマークデータセットで評価するための広範囲な実験を行った。
論文 参考訳（メタデータ） (2021-04-20T17:56:24Z) - Prototypical Representation Learning for Relation Extraction [56.501332067073065]
本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。
文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。
いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
論文 参考訳（メタデータ） (2021-03-22T08:11:43Z) - Generating Hierarchical Explanations on Text Classification via Feature
Interaction Detection [21.02924712220406]
特徴的相互作用を検出することによって階層的な説明を構築する。
このような説明は、単語とフレーズが階層の異なるレベルでどのように結合されるかを視覚化する。
実験は、モデルに忠実であり、人間に解釈可能な説明を提供する上で、提案手法の有効性を示す。
論文 参考訳（メタデータ） (2020-04-04T20:56:37Z) - Temporal Embeddings and Transformer Models for Narrative Text
Understanding [72.88083067388155]
キャラクタ関係モデリングのための物語テキスト理解のための2つのアプローチを提案する。
これらの関係の時間的進化は動的単語埋め込みによって説明され、時間とともに意味的変化を学ぶように設計されている。
最新の変換器モデルBERTに基づく教師付き学習手法を用いて文字間の静的な関係を検出する。
論文 参考訳（メタデータ） (2020-03-19T14:23:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。