論文の概要: Visualizing and Understanding Self-Supervised Vision Learning
- arxiv url: http://arxiv.org/abs/2206.09753v1
- Date: Mon, 20 Jun 2022 13:01:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-25 10:47:21.817947
- Title: Visualizing and Understanding Self-Supervised Vision Learning
- Title（参考訳）: 自己監督型視覚学習の可視化と理解
- Authors: Fawaz Sammani, Boris Joukovsky, Nikos Deligiannis
- Abstract要約: 本稿では,視覚タスクの自己教師型学習領域における説明可能な人工知能の問題について検討する。
我々は、同じ画像の2つの視点から学習するパラダイムの理解に焦点を合わせ、主にテキストのタスクを理解することを目的としている。
我々の研究は類似性学習の説明に重点を置いており、他のすべてのプリテキストタスクに容易に拡張可能である。
- 参考スコア（独自算出の注目度）: 20.200526463215375
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-Supervised vision learning has revolutionized deep learning, becoming
the next big challenge in the domain and rapidly closing the gap with
supervised methods on large computer vision benchmarks. With current models and
training data exponentially growing, explaining and understanding these models
becomes pivotal. We study the problem of explainable artificial intelligence in
the domain of self-supervised learning for vision tasks, and present methods to
understand networks trained with self-supervision and their inner workings.
Given the huge diversity of self-supervised vision pretext tasks, we narrow our
focus on understanding paradigms which learn from two views of the same image,
and mainly aim to understand the pretext task. Our work focuses on explaining
similarity learning, and is easily extendable to all other pretext tasks. We
study two popular self-supervised vision models: SimCLR and Barlow Twins. We
develop a total of six methods for visualizing and understanding these models:
Perturbation-based methods (conditional occlusion, context-agnostic conditional
occlusion and pairwise occlusion), Interaction-CAM, Feature Visualization,
Model Difference Visualization, Averaged Transforms and Pixel Invaraince.
Finally, we evaluate these explanations by translating well-known evaluation
metrics tailored towards supervised image classification systems involving a
single image, into the domain of self-supervised learning where two images are
involved. Code is at: https://github.com/fawazsammani/xai-ssl
- Abstract（参考訳）: 自己監督型視覚学習はディープラーニングに革命をもたらし、ドメインにおける次の大きな課題となり、大規模コンピュータビジョンベンチマークにおける教師付きメソッドとのギャップを急速に埋めている。
現在のモデルとトレーニングデータが指数関数的に増加すると、これらのモデルの説明と理解が重要になります。
視覚タスクにおける自己教師型学習の領域における説明可能な人工知能の問題について検討し、自己監督と内部動作で訓練されたネットワークを理解するための方法を提案する。
自己監督型視覚プレテキストタスクの多様性を考えると、同一画像の2つの視点から学習するパラダイムの理解に焦点を絞り、主にそのプリテキストタスクを理解することを目的としている。
我々の研究は類似性学習を説明することに焦点を当てており、他のすべての前文タスクにも容易に拡張できる。
我々は、SimCLRとBarlow Twinsの2つの人気自己教師型ビジョンモデルについて研究する。
摂動に基づく手法(条件性咬合,文脈非依存条件性咬合,対方向咬合),対話型カメラ,特徴量可視化,モデル差分可視化,平均変換,ピクセル不変性)の計6つのモデルを可視化し,理解する手法を開発した。
最後に,1つの画像を含む教師付き画像分類システム用に調整された既知の評価基準を,2つの画像が関与する自己教師付き学習領域に翻訳することにより,これらの説明を評価する。
コード https://github.com/fawazsammani/xai-ssl
関連論文リスト
- A Critical Assessment of Interpretable and Explainable Machine Learning for Intrusion Detection [0.0]
本稿では,過度に複雑で不透明なMLモデル,不均衡なデータと相関した特徴,異なる説明法における不整合な影響特徴,そして説明の不可能な有用性について検討する。
具体的には、Deep Neural Networksのような複雑な不透明モデルを避け、代わりにDecision Treesのような解釈可能なMLモデルを使用することを推奨する。
機能ベースのモデル説明は、多くの場合、異なる設定で矛盾している。
論文 参考訳（メタデータ） (2024-07-04T15:35:42Z) - Graphical Perception of Saliency-based Model Explanations [6.936466872687605]
本研究では,視覚認知モデルに対するモデル説明の知覚,特に正当性に基づく説明について検討する。
以上の結果から, 可視化設計決定やアライメントの種類, サリエンシマップの質に関連する要因が, 人間がサリエンシに基づく視覚的説明を知覚する上で重要な役割を担っていることが明らかとなった。
論文 参考訳（メタデータ） (2024-06-11T20:29:25Z) - CNN-based explanation ensembling for dataset, representation and explanations evaluation [1.1060425537315088]
畳み込みモデルを用いた深層分類モデルによる説明文の要約の可能性について検討する。
実験と分析を通じて、モデル行動のより一貫性と信頼性のあるパターンを明らかにするために、説明を組み合わせることの意味を明らかにすることを目的とする。
論文 参考訳（メタデータ） (2024-04-16T08:39:29Z) - Revisiting Self-supervised Learning of Speech Representation from a
Mutual Information Perspective [68.20531518525273]
我々は、情報理論の観点から、既存の自己教師型音声の手法を詳しく検討する。
我々は線形プローブを用いて、対象情報と学習された表現の間の相互情報を推定する。
我々は、ラベルを使わずに、データの異なる部分間の相互情報を見積もる自己教師型の表現を評価する可能性を探る。
論文 参考訳（メタデータ） (2024-01-16T21:13:22Z) - Evaluation of Self-taught Learning-based Representations for Facial
Emotion Recognition [62.30451764345482]
この研究は、顔の感情認識のための自己学習の概念を通じて得られた教師なし表現を生成するための様々な戦略を記述する。
このアイデアは、オートエンコーダの初期化、アーキテクチャ、トレーニングデータを変化させることで、多様性を促進する補完的な表現を作ることである。
Jaffe と Cohn-Kanade のデータセットに対する残余のサブジェクトアウトプロトコルによる実験結果から,提案した多種多様な表現に基づく FER 手法が最先端のアプローチと好適に比較できることが示唆された。
論文 参考訳（メタデータ） (2022-04-26T22:48:15Z) - TorchEsegeta: Framework for Interpretability and Explainability of
Image-based Deep Learning Models [0.0]
臨床医はしばしば自動画像処理アプローチ、特にディープラーニングに基づく手法の適用に懐疑的である。
本稿では,アルゴリズムの決定に最も影響を及ぼす解剖学的領域を記述することによって,ディープラーニングアルゴリズムの結果の解釈と説明を支援するアプローチを提案する。
ディープラーニングモデルに様々な解釈可能性および説明可能性技術を適用するための統合フレームワークであるTorchEsegetaを提案する。
論文 参考訳（メタデータ） (2021-10-16T01:00:15Z) - Discriminative Attribution from Counterfactuals [64.94009515033984]
本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。
本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
論文 参考訳（メタデータ） (2021-09-28T00:53:34Z) - This is not the Texture you are looking for! Introducing Novel
Counterfactual Explanations for Non-Experts using Generative Adversarial
Learning [59.17685450892182]
反実用説明システムは、入力画像を変更して反実用推論を可能にする。
本稿では, 対向画像から画像への変換技術に基づく, 対向画像の説明を新たに生成する手法を提案する。
その結果,我々のアプローチは,2つの最先端技術システムよりも,メンタルモデル,説明満足度,信頼度,感情,自己効力に関して有意に優れた結果をもたらすことがわかった。
論文 参考訳（メタデータ） (2020-12-22T10:08:05Z) - Explainable Recommender Systems via Resolving Learning Representations [57.24565012731325]
説明はユーザー体験を改善し、システムの欠陥を発見するのに役立つ。
本稿では,表現学習プロセスの透明性を向上させることによって,説明可能な新しい推薦モデルを提案する。
論文 参考訳（メタデータ） (2020-08-21T05:30:48Z) - Self-supervised Learning from a Multi-view Perspective [121.63655399591681]
自己教師型表現はタスク関連情報を抽出し,タスク関連情報を破棄することができることを示す。
我々の理論的枠組みは、自己教師型学習目標設計のより広い空間への道を開くものである。
論文 参考訳（メタデータ） (2020-06-10T00:21:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。