論文の概要: Interpreting Vision and Language Generative Models with Semantic Visual
Priors
- arxiv url: http://arxiv.org/abs/2304.14986v2
- Date: Thu, 4 May 2023 15:25:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-05 18:33:49.169824
- Title: Interpreting Vision and Language Generative Models with Semantic Visual
Priors
- Title(参考訳): セマンティック・ビジュアル・プライオリティを用いた視覚と言語生成モデルの解釈
- Authors: Michele Cafagna, Lina M. Rojas-Barahona, Kees van Deemter, Albert Gatt
- Abstract要約: 我々は、出力シーケンス全体の意味表現を活用する意味のある説明を生成できるSHAPに基づくフレームワークを開発する。
提案手法は,従来の手法よりも計算コストが低く,意味論的に表現力に富んだ説明を生成する。
- 参考スコア(独自算出の注目度): 3.3772986620114374
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When applied to Image-to-text models, interpretability methods often provide
token-by-token explanations namely, they compute a visual explanation for each
token of the generated sequence. Those explanations are expensive to compute
and unable to comprehensively explain the model's output. Therefore, these
models often require some sort of approximation that eventually leads to
misleading explanations. We develop a framework based on SHAP, that allows for
generating comprehensive, meaningful explanations leveraging the meaning
representation of the output sequence as a whole. Moreover, by exploiting
semantic priors in the visual backbone, we extract an arbitrary number of
features that allows the efficient computation of Shapley values on large-scale
models, generating at the same time highly meaningful visual explanations. We
demonstrate that our method generates semantically more expressive explanations
than traditional methods at a lower compute cost and that it can be generalized
over other explainability methods.
- Abstract(参考訳): 画像からテキストへのモデルに適用すると、解釈可能性の手法はトークン毎の説明、つまり生成されたシーケンスの各トークンに対する視覚的な説明を計算する。
これらの説明は計算に高価であり、モデルの出力を包括的に説明できない。
したがって、これらのモデルは、しばしば誤解を招く説明につながる何らかの近似を必要とする。
我々は,出力列全体の意味表現を活用し,包括的かつ有意義な説明を生成できるフレームワークであるshapを開発した。
さらに,視覚バックボーンのセマンティクスプリエントを活用し,大規模モデル上でのシェープリー値の効率的な計算を可能にする任意の数の特徴を抽出し,同時に非常に有意義な視覚的説明を生成する。
提案手法は,計算コストの低い従来の手法よりも意味的に表現力に富む説明を生成し,他の説明可能性法よりも一般化できることを実証する。
関連論文リスト
- SyntaxShap: Syntax-aware Explainability Method for Text Generation [13.58740137596652]
本稿では,テキスト生成のためのモデルに依存しない説明可能性手法であるSyntaxShapを紹介する。
本手法は,自己回帰モデルによる予測に対する,より忠実で一貫性があり,解釈可能な説明を構築するのに役立つ説明を生成する。
論文 参考訳(メタデータ) (2024-02-14T15:45:56Z) - Causal Generative Explainers using Counterfactual Inference: A Case
Study on the Morpho-MNIST Dataset [5.458813674116228]
本稿では,視覚的特徴と因果的要因の影響を研究するために,生成的対実的推論手法を提案する。
我々は,OmnixAIオープンソースツールキットの視覚的説明手法を用いて,提案手法との比較を行った。
このことから,本手法は因果的データセットの解釈に極めて適していることが示唆された。
論文 参考訳(メタデータ) (2024-01-21T04:07:48Z) - Explainability for Large Language Models: A Survey [59.67574757137078]
大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。
本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
論文 参考訳(メタデータ) (2023-09-02T22:14:26Z) - Grouping Shapley Value Feature Importances of Random Forests for
explainable Yield Prediction [0.8543936047647136]
本稿では,特徴群に対して直接計算されたShapley値の概念を説明し,木構造上で効率的に計算するアルゴリズムを提案する。
我々は、グローバルな理解のために多くのローカルな説明を組み合わせてSwarmプロットを設計するための青写真を提供する。
論文 参考訳(メタデータ) (2023-04-14T13:03:33Z) - Learning with Explanation Constraints [91.23736536228485]
我々は、説明がモデルの学習をどのように改善するかを分析するための学習理論フレームワークを提供する。
我々は,多数の合成および実世界の実験に対して,我々のアプローチの利点を実証する。
論文 参考訳(メタデータ) (2023-03-25T15:06:47Z) - Understanding Post-hoc Explainers: The Case of Anchors [6.681943980068051]
本稿では,テキストの判断を説明するために,少数の単語群をハイライトする規則に基づく解釈可能性法の理論解析を行う。
アルゴリズムを定式化し有用な洞察を提供した後、数学的にアンカーが有意義な結果をもたらすことを示す。
論文 参考訳(メタデータ) (2023-03-15T17:56:34Z) - Combining Counterfactuals With Shapley Values To Explain Image Models [13.671174461441304]
我々は、反事実を生成し、Shapley値を推定するパイプラインを開発する。
我々は強い公理的保証を持つ対照的で解釈可能な説明を得る。
論文 参考訳(メタデータ) (2022-06-14T18:23:58Z) - Explainability in Process Outcome Prediction: Guidelines to Obtain
Interpretable and Faithful Models [77.34726150561087]
本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。
本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
論文 参考訳(メタデータ) (2022-03-30T05:59:50Z) - Interpreting Language Models with Contrastive Explanations [99.7035899290924]
言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。
既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。
比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
論文 参考訳(メタデータ) (2022-02-21T18:32:24Z) - Towards Interpretable Natural Language Understanding with Explanations
as Latent Variables [146.83882632854485]
そこで本研究では,人間に注釈付き説明文の小さなセットだけを必要とする自然言語理解の枠組みを構築した。
我々のフレームワークは、ニューラルネットワークの基本的な推論過程をモデル化する潜在変数として、自然言語の説明を扱う。
論文 参考訳(メタデータ) (2020-10-24T02:05:56Z) - The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal
Sufficient Subsets [61.66584140190247]
機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。
そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
論文 参考訳(メタデータ) (2020-09-23T09:45:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。