論文の概要: Model Interpretability and Rationale Extraction by Input Mask Optimization
- arxiv url: http://arxiv.org/abs/2508.11388v1
- Date: Fri, 15 Aug 2025 10:41:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-18 14:51:23.856753
- Title: Model Interpretability and Rationale Extraction by Input Mask Optimization
- Title(参考訳): 入力マスク最適化によるモデル解釈可能性とRationale抽出
- Authors: Marc Brinner, Sina Zarriess,
- Abstract要約: 本稿では,ニューラルネットワークによる予測のための抽出的説明を生成する手法を提案する。
マスキングは、勾配に基づく最適化と新しい正規化スキームを組み合わせて行われる。
画像の入力に同じ手法を適用し、画像分類のための高品質な説明を得る。
- 参考スコア(独自算出の注目度): 2.3020018305241337
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Concurrent to the rapid progress in the development of neural-network based models in areas like natural language processing and computer vision, the need for creating explanations for the predictions of these black-box models has risen steadily. We propose a new method to generate extractive explanations for predictions made by neural networks, that is based on masking parts of the input which the model does not consider to be indicative of the respective class. The masking is done using gradient-based optimization combined with a new regularization scheme that enforces sufficiency, comprehensiveness and compactness of the generated explanation, three properties that are known to be desirable from the related field of rationale extraction in natural language processing. In this way, we bridge the gap between model interpretability and rationale extraction, thereby proving that the latter of which can be performed without training a specialized model, only on the basis of a trained classifier. We further apply the same method to image inputs and obtain high quality explanations for image classifications, which indicates that the conditions proposed for rationale extraction in natural language processing are more broadly applicable to different input types.
- Abstract(参考訳): 自然言語処理やコンピュータビジョンといった分野におけるニューラルネットワークベースのモデルの開発が急速に進んでいるのに伴い、これらのブラックボックスモデルの予測のための説明を作成する必要性は着実に高まっている。
本稿では,ニューラルネットワークが生成した予測の抽出的説明を,モデルが各クラスを示唆しない入力のマスキング部分に基づいて生成する手法を提案する。
マスキングは、グラデーションに基づく最適化と、生成した説明の十分性、包括性、コンパクト性を強制する新たな正規化スキームを組み合わせることで行われる。
このようにして、モデルの解釈可能性と合理性抽出のギャップを埋め、訓練された分類器のみに基づいて、専門的なモデルを訓練することなく、後者が実行可能であることを示す。
さらに、この手法を画像入力に適用し、画像分類の高品質な説明を得ることにより、自然言語処理における有理抽出の条件が、異なる入力タイプに対してより広く適用可能であることを示す。
関連論文リスト
- P-TAME: Explain Any Image Classifier with Trained Perturbations [14.31574090533474]
P-TAME (Perturbation-based Trainable Attention Mechanism for Explanations) は、ディープニューラルネットワーク(DNN)を説明するためのモデルに依存しない手法である。
推論中に単一のフォワードパスで高分解能な説明を生成する。
本稿では,VGG-16,ResNet-50,ViT-B-16の3つの画像分類器について,P-TAMEを用いて検討する。
論文 参考訳(メタデータ) (2025-01-29T18:06:08Z) - Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
任意の制約下で高速かつ高品質な生成を可能にするアルゴリズムを提案する。
推測中、ノイズの多い画像上で計算された勾配更新と、最終的なクリーンな画像で計算されたアップデートとを交換できる。
我々のアプローチは、最先端のトレーニングフリー推論アプローチに匹敵するか、超越した結果をもたらす。
論文 参考訳(メタデータ) (2024-10-24T14:52:38Z) - Faithful and Plausible Natural Language Explanations for Image Classification: A Pipeline Approach [10.54430941755474]
本稿では,CNNに基づく分類システムに適用可能な,ポストホックな自然言語説明法を提案する。
影響力のあるニューロンと対応する活性化マップを分析して、分類器の決定過程の忠実な記述を生成する。
実験の結果,提案手法により構築されたNLEは,より信頼性が高く,忠実であることがわかった。
論文 参考訳(メタデータ) (2024-07-30T15:17:15Z) - Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。
この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
論文 参考訳(メタデータ) (2023-07-06T15:19:53Z) - Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。
提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。
ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
論文 参考訳(メタデータ) (2022-10-05T17:05:56Z) - Sampling Based On Natural Image Statistics Improves Local Surrogate
Explainers [111.31448606885672]
代理説明器は、モデルが予測にどのように到着するかをさらに理解するために、ポストホック解釈法として人気がある。
そこで本研究では,(1)局所領域のサンプリング方法を変更すること,(2)自然画像の分布特性を知覚的指標を用いて伝達すること,の2つの手法を提案する。
論文 参考訳(メタデータ) (2022-08-08T08:10:13Z) - Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。
従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。
本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
論文 参考訳(メタデータ) (2021-01-21T01:46:36Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳(メタデータ) (2020-10-05T20:03:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。