論文の概要: Comparing the Decision-Making Mechanisms by Transformers and CNNs via
Explanation Methods
- arxiv url: http://arxiv.org/abs/2212.06872v3
- Date: Wed, 29 Nov 2023 02:13:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 04:12:40.740192
- Title: Comparing the Decision-Making Mechanisms by Transformers and CNNs via
Explanation Methods
- Title(参考訳): 説明手法によるトランスフォーマーとcnnによる意思決定機構の比較
- Authors: Mingqi Jiang, Saeed Khorram and Li Fuxin
- Abstract要約: 本稿では,データセット全体に対して深い説明アルゴリズムを適用する手法を提案する。
我々は、説明の量と性質から得られた統計を比較し、異なるモデルの意思決定に関する洞察を得る。
- 参考スコア(独自算出の注目度): 5.239356166272928
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In order to learn better about how different visual recognition backbones
make decisions, we propose a methodology that systematically applies deep
explanation algorithms on a dataset-wide basis, and compares the statistics
generated from the amount and nature of the explanations to gain insights about
the decision-making of different models. Specifically, we propose two
methodologies called sub-explanation counting and cross-testing. These
methodologies reveal the difference among networks in terms of two properties
called compositionality and disjunctivism. Transformers and ConvNeXt are found
to be more compositional, in the sense that they jointly consider multiple
parts of the image in building their decisions, whereas traditional CNNs and
distilled transformers are less compositional and more disjunctive, which means
that they use multiple diverse but smaller set of parts to achieve a confident
prediction. Through further experiments, we pinpointed the choice of
normalization to be especially important in the compositionality of a model, in
that batch normalization leads to less compositionality while group and layer
normalization lead to more. Finally, we also analyze the features shared by
different backbones and plot a landscape of different models based on their
feature-use similarity.
- Abstract(参考訳): 異なる視覚認識バックボーンが意思決定を行う方法についてより深く学ぶため、データセット全体にわたって深層説明アルゴリズムを体系的に適用し、説明の量と性質から生成された統計を比較して、異なるモデルの意思決定に関する洞察を得る手法を提案する。
具体的には,サブスプランテーションカウントとクロステストという2つの手法を提案する。
これらの手法は、構成性と可分性と呼ばれる2つの性質の観点から、ネットワーク間の差異を明らかにする。
トランスフォーマーとConvNeXtは、画像の複数の部分を共同で検討し、従来のCNNと蒸留トランスフォーマーはより構成的であり、より分離的であるため、複数の多様な、より小さな部品を用いて、自信ある予測を下すことができる。
さらなる実験を通じて、モデルの構成性において特に重要な正規化の選択は、バッチ正規化によって構成性が低下する一方、グループおよび層正規化はより重要となる。
最後に、異なるバックボーンで共有される機能を分析し、その機能利用の類似性に基づいて異なるモデルのランドスケープをプロットします。
関連論文リスト
- Revealing Multimodal Contrastive Representation Learning through Latent
Partial Causal Models [85.67870425656368]
マルチモーダルデータに特化して設計された統一因果モデルを提案する。
マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。
実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
論文 参考訳(メタデータ) (2024-02-09T07:18:06Z) - Identifiability Results for Multimodal Contrastive Learning [72.15237484019174]
本研究では,以前研究したマルチビュー設定よりも,より一般的な設定で共有要因を復元可能であることを示す。
本研究は,マルチモーダル表現学習の理論的基盤を提供し,マルチモーダルコントラスト学習を実践的に効果的に設定する方法を説明する。
論文 参考訳(メタデータ) (2023-03-16T09:14:26Z) - Interpretable Diversity Analysis: Visualizing Feature Representations In
Low-Cost Ensembles [0.0]
本稿では,多様性を定性的に分析できるいくつかの解釈可能性手法を提案する。
2つの低コストアンサンブルアルゴリズムを用いて,子ネットワーク間の特徴表現の多様性を比較することによって,これらの手法を実証する。
論文 参考訳(メタデータ) (2023-02-12T00:32:03Z) - Similarity of Neural Architectures using Adversarial Attack
Transferability [50.50231315195932]
ニューラルネットワーク間の定量的かつスケーラブルな類似度尺度を設計する。
我々は69の最先端画像ネット分類器を大規模に解析する。
我々の結果は、異なるコンポーネントを持つ多様なニューラルアーキテクチャの開発がなぜ必要かについての洞察を提供する。
論文 参考訳(メタデータ) (2022-10-20T16:56:47Z) - Unsupervised Multimodal Change Detection Based on Structural
Relationship Graph Representation Learning [40.631724905575034]
教師なしマルチモーダル変化検出は、時間に敏感な緊急アプリケーションにおいて重要な役割を果たす、実用的で困難なトピックである。
マルチモーダル画像における2種類のモダリティ非依存構造関係を利用する。
本稿では,2つの構造関係の類似性を測定するための構造関係グラフ表現学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-03T13:55:08Z) - Fidelity of Ensemble Aggregation for Saliency Map Explanations using
Bayesian Optimization Techniques [0.0]
我々は,異なる画素ベースのアグリゲーションスキームを新しい説明を生成するために提示し,比較する。
個々の説明の差異を集約プロセスに組み込む。
また,複数の正規化手法がアンサンブルアグリゲーションに与える影響を解析した。
論文 参考訳(メタデータ) (2022-07-04T16:34:12Z) - Model-Based Deep Learning: On the Intersection of Deep Learning and
Optimization [101.32332941117271]
決定アルゴリズムは様々なアプリケーションで使われている。
数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。
モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
論文 参考訳(メタデータ) (2022-05-05T13:40:08Z) - IMACS: Image Model Attribution Comparison Summaries [16.80986701058596]
我々は,勾配に基づくモデル属性とアグリゲーションと可視化技術を組み合わせたIMACSを提案する。
IMACSは評価データセットから適切な入力特徴を抽出し、類似性に基づいてクラスタ化し、類似した入力特徴に対するモデル属性の違いを可視化する。
本稿では,衛星画像上で訓練した2つのモデル間の領域シフトによる行動差を明らかにする方法を示す。
論文 参考訳(メタデータ) (2022-01-26T21:35:14Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳(メタデータ) (2020-11-13T10:53:27Z) - Semantic Change Detection with Asymmetric Siamese Networks [71.28665116793138]
2つの空中画像が与えられた場合、セマンティックチェンジ検出は、土地被覆のバリエーションを特定し、それらの変化タイプをピクセルワイド境界で識別することを目的としている。
この問題は、正確な都市計画や天然資源管理など、多くの地球ビジョンに関連するタスクにおいて不可欠である。
本研究では, 広く異なる構造を持つモジュールから得られた特徴対を用いて意味変化を同定し, 同定するための非対称システマネットワーク(ASN)を提案する。
論文 参考訳(メタデータ) (2020-10-12T13:26:30Z) - Deep Grouping Model for Unified Perceptual Parsing [36.73032339428497]
知覚に基づくグループ化プロセスは階層的および構成的イメージ表現を生成する。
本稿では,2種類の表現を密に結合したディープグルーピングモデル(DGM)を提案し,特徴交換のためのボトムアップとトップダウンプロセスを定義する。
このモデルは、他の文脈ベースセグメンテーションモデルと比較して計算オーバーヘッドが小さく、最先端の結果を達成する。
論文 参考訳(メタデータ) (2020-03-25T21:16:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。