論文の概要: Right for the Right Concept: Revising Neuro-Symbolic Concepts by
Interacting with their Explanations
- arxiv url: http://arxiv.org/abs/2011.12854v6
- Date: Mon, 21 Jun 2021 08:25:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 01:52:52.176673
- Title: Right for the Right Concept: Revising Neuro-Symbolic Concepts by
Interacting with their Explanations
- Title(参考訳): 正しい概念のための権利 : 説明と相互作用によるニューロシンボリック概念の改訂
- Authors: Wolfgang Stammer, Patrick Schramowski and Kristian Kersting
- Abstract要約: 本稿では,意味レベルでのモデル修正を可能にするニューロ・シンボリックシーン表現を提案する。
CLEVR-Hansの実験の結果は、私たちのセマンティックな説明が共同創設者を識別できることを示しています。
- 参考スコア(独自算出の注目度): 24.327862278556445
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most explanation methods in deep learning map importance estimates for a
model's prediction back to the original input space. These "visual"
explanations are often insufficient, as the model's actual concept remains
elusive. Moreover, without insights into the model's semantic concept, it is
difficult -- if not impossible -- to intervene on the model's behavior via its
explanations, called Explanatory Interactive Learning. Consequently, we propose
to intervene on a Neuro-Symbolic scene representation, which allows one to
revise the model on the semantic level, e.g. "never focus on the color to make
your decision". We compiled a novel confounded visual scene data set, the
CLEVR-Hans data set, capturing complex compositions of different objects. The
results of our experiments on CLEVR-Hans demonstrate that our semantic
explanations, i.e. compositional explanations at a per-object level, can
identify confounders that are not identifiable using "visual" explanations
only. More importantly, feedback on this semantic level makes it possible to
revise the model from focusing on these factors.
- Abstract(参考訳): ディープラーニングマップにおけるほとんどの説明手法は、モデルの予測を元の入力空間に戻すための重要度推定である。
これらの「視覚的」な説明はしばしば不十分であり、モデルの実際の概念はいまだ解明されていない。
さらに、モデルのセマンティックな概念に関する洞察がなければ、説明的対話学習(Explainatory Interactive Learning)と呼ばれる説明を通じてモデルの振る舞いに介入することは困難である。
そこで我々は,「色に焦点をあてることなく決定を下す」ような意味レベルでモデルを再検討できる,ニューロ・シンボリックなシーン表現に介入することを提案する。
我々は,新しい視覚シーンデータセットであるclevr-hansデータセットをコンパイルし,異なるオブジェクトの複雑な構成をキャプチャした。
CLEVR-Hansを用いた実験の結果、対象ごとの合成的説明は、視覚的説明だけでは識別できない共同創設者を識別できることが示されている。
さらに重要なことに、このセマンティクスレベルに対するフィードバックは、モデルがこれらの要因に焦点を合わせないように修正することを可能にします。
関連論文リスト
- Advancing Ante-Hoc Explainable Models through Generative Adversarial
Networks [27.481736329336247]
本稿では,視覚的分類タスクにおけるモデル解釈可能性と性能を向上させるための新しい概念学習フレームワークを提案する。
本手法では, 教師なし説明生成器を一次分類器ネットワークに付加し, 対角訓練を利用する。
この研究は、タスク整合概念表現を用いた本質的に解釈可能なディープビジョンモデルを構築するための重要なステップを示す。
論文 参考訳(メタデータ) (2024-01-09T16:16:16Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2023-12-10T23:13:23Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T20:41:18Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2023-06-14T23:24:01Z) - OCTET: Object-aware Counterfactual Explanations [29.532969342297086]
対物的説明生成のためのオブジェクト指向フレームワークを提案する。
近年のジェネレーティブ・モデリングの成果に触発された本手法では,オブジェクトレベルの操作を容易にするために,クエリイメージを潜在空間に符号化する。
そこで本研究では,シーンを駆動する反実的説明ベンチマークの一連の実験を行い,本手法が分類を超えて適用可能であることを示す。
論文 参考訳(メタデータ) (2022-11-22T16:23:12Z) - ELUDE: Generating interpretable explanations via a decomposition into
labelled and unlabelled features [23.384134043048807]
モデルの予測を2つの部分に分解する説明フレームワークを開発する。
後者を識別することで、モデルの"説明できない"部分を分析することができます。
また,同機能領域で訓練された複数のモデルに対して,非競合機能セットが一般化可能であることを示す。
論文 参考訳(メタデータ) (2022-06-15T17:36:55Z) - Promises and Pitfalls of Black-Box Concept Learning Models [26.787383014558802]
概念学習を取り入れた機械学習モデルは、事前に定義された概念を超えて情報をエンコードする。
自然緩和戦略は完全には機能せず、下流予測の解釈を誤解させる。
論文 参考訳(メタデータ) (2021-06-24T21:00:28Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳(メタデータ) (2021-03-18T12:57:34Z) - Explainers in the Wild: Making Surrogate Explainers Robust to
Distortions through Perception [77.34726150561087]
説明における歪みの影響を知覚距離を埋め込むことで評価する手法を提案する。
Imagenet-Cデータセットの画像の説明を生成し、サロゲート説明書の知覚距離を使用して歪んだ画像と参照画像のより一貫性のある説明を作成する方法を示しています。
論文 参考訳(メタデータ) (2021-02-22T12:38:53Z) - Interpretable Visual Reasoning via Induced Symbolic Space [75.95241948390472]
視覚的推論における概念誘導の問題,すなわち,画像に関連付けられた質問応答対から概念とその階層的関係を同定する。
我々はまず,オブジェクトレベルの視覚的特徴を持つ視覚的推論タスクを実行するために,オブジェクト指向合成注意モデル(OCCAM)という新しいフレームワークを設計する。
そこで我々は,対象の視覚的特徴と質問語の間の注意パターンから手がかりを用いて,対象と関係の概念を誘導する手法を考案した。
論文 参考訳(メタデータ) (2020-11-23T18:21:49Z) - Explain by Evidence: An Explainable Memory-based Neural Network for
Question Answering [41.73026155036886]
本稿では,エビデンスに基づくメモリネットワークアーキテクチャを提案する。
データセットを要約し、その決定を下すための証拠を抽出することを学ぶ。
本モデルは,2つの質問応答データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2020-11-05T21:18:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。