論文の概要: Right for the Right Concept: Revising Neuro-Symbolic Concepts by
Interacting with their Explanations
- arxiv url: http://arxiv.org/abs/2011.12854v6
- Date: Mon, 21 Jun 2021 08:25:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 01:52:52.176673
- Title: Right for the Right Concept: Revising Neuro-Symbolic Concepts by
Interacting with their Explanations
- Title(参考訳): 正しい概念のための権利 : 説明と相互作用によるニューロシンボリック概念の改訂
- Authors: Wolfgang Stammer, Patrick Schramowski and Kristian Kersting
- Abstract要約: 本稿では,意味レベルでのモデル修正を可能にするニューロ・シンボリックシーン表現を提案する。
CLEVR-Hansの実験の結果は、私たちのセマンティックな説明が共同創設者を識別できることを示しています。
- 参考スコア(独自算出の注目度): 24.327862278556445
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most explanation methods in deep learning map importance estimates for a
model's prediction back to the original input space. These "visual"
explanations are often insufficient, as the model's actual concept remains
elusive. Moreover, without insights into the model's semantic concept, it is
difficult -- if not impossible -- to intervene on the model's behavior via its
explanations, called Explanatory Interactive Learning. Consequently, we propose
to intervene on a Neuro-Symbolic scene representation, which allows one to
revise the model on the semantic level, e.g. "never focus on the color to make
your decision". We compiled a novel confounded visual scene data set, the
CLEVR-Hans data set, capturing complex compositions of different objects. The
results of our experiments on CLEVR-Hans demonstrate that our semantic
explanations, i.e. compositional explanations at a per-object level, can
identify confounders that are not identifiable using "visual" explanations
only. More importantly, feedback on this semantic level makes it possible to
revise the model from focusing on these factors.
- Abstract(参考訳): ディープラーニングマップにおけるほとんどの説明手法は、モデルの予測を元の入力空間に戻すための重要度推定である。
これらの「視覚的」な説明はしばしば不十分であり、モデルの実際の概念はいまだ解明されていない。
さらに、モデルのセマンティックな概念に関する洞察がなければ、説明的対話学習(Explainatory Interactive Learning)と呼ばれる説明を通じてモデルの振る舞いに介入することは困難である。
そこで我々は,「色に焦点をあてることなく決定を下す」ような意味レベルでモデルを再検討できる,ニューロ・シンボリックなシーン表現に介入することを提案する。
我々は,新しい視覚シーンデータセットであるclevr-hansデータセットをコンパイルし,異なるオブジェクトの複雑な構成をキャプチャした。
CLEVR-Hansを用いた実験の結果、対象ごとの合成的説明は、視覚的説明だけでは識別できない共同創設者を識別できることが示されている。
さらに重要なことに、このセマンティクスレベルに対するフィードバックは、モデルがこれらの要因に焦点を合わせないように修正することを可能にします。
関連論文リスト
- DEAL: Disentangle and Localize Concept-level Explanations for VLMs [10.397502254316645]
大きな訓練済みのビジョンランゲージモデルでは、きめ細かい概念を特定できないかもしれない。
本研究では,人間のアノテーションを使わずに概念のDisEnt and Localize(アングル)概念レベルの説明を提案する。
実験結果から,提案手法はモデルの概念レベルの説明を,不整合性と局所性の観点から著しく改善することを示した。
論文 参考訳(メタデータ) (2024-07-19T15:39:19Z) - CNN-based explanation ensembling for dataset, representation and explanations evaluation [1.1060425537315088]
畳み込みモデルを用いた深層分類モデルによる説明文の要約の可能性について検討する。
実験と分析を通じて、モデル行動のより一貫性と信頼性のあるパターンを明らかにするために、説明を組み合わせることの意味を明らかにすることを目的とする。
論文 参考訳(メタデータ) (2024-04-16T08:39:29Z) - Advancing Ante-Hoc Explainable Models through Generative Adversarial Networks [24.45212348373868]
本稿では,視覚的分類タスクにおけるモデル解釈可能性と性能を向上させるための新しい概念学習フレームワークを提案する。
本手法では, 教師なし説明生成器を一次分類器ネットワークに付加し, 対角訓練を利用する。
この研究は、タスク整合概念表現を用いた本質的に解釈可能なディープビジョンモデルを構築するための重要なステップを示す。
論文 参考訳(メタデータ) (2024-01-09T16:16:16Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T20:41:18Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2023-06-14T23:24:01Z) - Dynamic Clue Bottlenecks: Towards Interpretable-by-Design Visual Question Answering [58.64831511644917]
本稿では, モデル決定を中間的人間法的な説明に分解する設計モデルを提案する。
我々は、我々の本質的に解釈可能なシステムは、推論に焦点をあてた質問において、同等のブラックボックスシステムよりも4.64%改善できることを示した。
論文 参考訳(メタデータ) (2023-05-24T08:33:15Z) - OCTET: Object-aware Counterfactual Explanations [29.532969342297086]
対物的説明生成のためのオブジェクト指向フレームワークを提案する。
近年のジェネレーティブ・モデリングの成果に触発された本手法では,オブジェクトレベルの操作を容易にするために,クエリイメージを潜在空間に符号化する。
そこで本研究では,シーンを駆動する反実的説明ベンチマークの一連の実験を行い,本手法が分類を超えて適用可能であることを示す。
論文 参考訳(メタデータ) (2022-11-22T16:23:12Z) - Promises and Pitfalls of Black-Box Concept Learning Models [26.787383014558802]
概念学習を取り入れた機械学習モデルは、事前に定義された概念を超えて情報をエンコードする。
自然緩和戦略は完全には機能せず、下流予測の解釈を誤解させる。
論文 参考訳(メタデータ) (2021-06-24T21:00:28Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳(メタデータ) (2021-03-18T12:57:34Z) - Explainers in the Wild: Making Surrogate Explainers Robust to
Distortions through Perception [77.34726150561087]
説明における歪みの影響を知覚距離を埋め込むことで評価する手法を提案する。
Imagenet-Cデータセットの画像の説明を生成し、サロゲート説明書の知覚距離を使用して歪んだ画像と参照画像のより一貫性のある説明を作成する方法を示しています。
論文 参考訳(メタデータ) (2021-02-22T12:38:53Z) - Interpretable Visual Reasoning via Induced Symbolic Space [75.95241948390472]
視覚的推論における概念誘導の問題,すなわち,画像に関連付けられた質問応答対から概念とその階層的関係を同定する。
我々はまず,オブジェクトレベルの視覚的特徴を持つ視覚的推論タスクを実行するために,オブジェクト指向合成注意モデル(OCCAM)という新しいフレームワークを設計する。
そこで我々は,対象の視覚的特徴と質問語の間の注意パターンから手がかりを用いて,対象と関係の概念を誘導する手法を考案した。
論文 参考訳(メタデータ) (2020-11-23T18:21:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。