論文の概要: Similarity of Neural Architectures using Adversarial Attack Transferability
- arxiv url: http://arxiv.org/abs/2210.11407v4
- Date: Wed, 17 Jul 2024 15:10:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-19 00:00:34.663868
- Title: Similarity of Neural Architectures using Adversarial Attack Transferability
- Title（参考訳）: 逆攻撃伝達性を用いたニューラルネットワークの類似性
- Authors: Jaehui Hwang, Dongyoon Han, Byeongho Heo, Song Park, Sanghyuk Chun, Jong-Seok Lee,
- Abstract要約: ニューラルネットワーク間の定量的かつスケーラブルな類似度尺度を設計する。
我々は69の最先端画像ネット分類器を大規模に解析する。
我々の結果は、異なるコンポーネントを持つ多様なニューラルアーキテクチャの開発がなぜ必要かについての洞察を提供する。
- 参考スコア（独自算出の注目度）: 47.66096554602005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, many deep neural architectures have been developed for image classification. Whether they are similar or dissimilar and what factors contribute to their (dis)similarities remains curious. To address this question, we aim to design a quantitative and scalable similarity measure between neural architectures. We propose Similarity by Attack Transferability (SAT) from the observation that adversarial attack transferability contains information related to input gradients and decision boundaries widely used to understand model behaviors. We conduct a large-scale analysis on 69 state-of-the-art ImageNet classifiers using our proposed similarity function to answer the question. Moreover, we observe neural architecture-related phenomena using model similarity that model diversity can lead to better performance on model ensembles and knowledge distillation under specific conditions. Our results provide insights into why developing diverse neural architectures with distinct components is necessary.
- Abstract（参考訳）: 近年,画像分類のためのディープ・ニューラル・アーキテクチャが数多く開発されている。
それらが似ているか異なるか、どの要因がそれらの(異なる)相似性に寄与するかは、いまだに疑問である。
この問題に対処するために,我々は,ニューラルネットワーク間の定量的かつスケーラブルな類似度尺度を設計することを目指している。
本稿では, モデル動作の理解に広く用いられている入力勾配や決定境界に関する情報を含む, 敵攻撃伝達可能性(SAT)の類似性について述べる。
提案した類似度関数を用いて69の最先端画像ネット分類器を大規模に解析し,その問題に答える。
さらに,モデルの多様性がモデルアンサンブルおよび特定の条件下での知識蒸留の性能を向上させることができるモデル類似性を用いて,ニューラルネットワーク関連現象を観察する。
我々の結果は、異なるコンポーネントを持つ多様なニューラルアーキテクチャの開発がなぜ必要かについての洞察を提供する。
関連論文リスト
- Modularity in Transformers: Investigating Neuron Separability & Specialization [0.0]
トランスフォーマーモデルは様々なアプリケーションでますます普及していますが、内部動作に対する我々の理解は限定的です。
本稿では、視覚(ViT)モデルと言語(Mistral 7B)モデルの両方に着目し、トランスフォーマーアーキテクチャ内のニューロンのモジュラリティとタスクの特殊化について検討する。
選択的プルーニングとMoEficationクラスタリングの組み合わせを用いて、異なるタスクやデータサブセットにわたるニューロンの重複と特殊化を分析する。
論文 参考訳（メタデータ） (2024-08-30T14:35:01Z) - Characterization of topological structures in different neural network architectures [0.0]
本研究では,異なるアーキテクチャの表現を解析し,その表現を用いて有効な結果を得る方法を提案する。
これらの手法をResNet, VGG19, ViTアーキテクチャに適用し, 類似点と相違点が認められた。
論文 参考訳（メタデータ） (2024-07-08T18:02:18Z) - Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。
また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
論文 参考訳（メタデータ） (2023-08-28T12:55:13Z) - Neural Dependencies Emerging from Learning Massive Categories [94.77992221690742]
この研究は、大規模画像分類のために学んだニューラルネットワークに関する2つの驚くべき発見を示す。
1) 十分に訓練されたモデルが与えられた場合、いくつかのカテゴリで予測されたロジットは、他のいくつかのカテゴリの予測を線形に組み合わせることで直接得ることができる。
2) 神経依存は1つのモデルに留まらず、2つの独立した学習モデルの間にさえ存在する。
論文 参考訳（メタデータ） (2022-11-21T09:42:15Z) - DeepDC: Deep Distance Correlation as a Perceptual Image Quality
Evaluator [53.57431705309919]
ImageNet Pre-trained Deep Neural Network (DNN)は、効果的な画像品質評価(IQA)モデルを構築するための顕著な転送性を示す。
我々は,事前学習DNN機能のみに基づく新しいフル参照IQA(FR-IQA)モデルを開発した。
5つの標準IQAデータセット上で,提案した品質モデルの優位性を示すため,包括的実験を行った。
論文 参考訳（メタデータ） (2022-11-09T14:57:27Z) - Towards a Predictive Processing Implementation of the Common Model of
Cognition [79.63867412771461]
本稿では,ニューラル生成符号化とホログラフィック連想記憶に基づく認知モデルの実装について述べる。
提案システムは,多様なタスクから継続的に学習し,大規模に人的パフォーマンスをモデル化するエージェントを開発するための基盤となる。
論文 参考訳（メタデータ） (2021-05-15T22:55:23Z) - Firearm Detection via Convolutional Neural Networks: Comparing a
Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。
これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。
従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文 参考訳（メタデータ） (2020-12-17T15:19:29Z) - Critically Examining the Claimed Value of Convolutions over User-Item
Embedding Maps for Recommender Systems [14.414055798999764]
近年,推薦システムの領域におけるアルゴリズム研究は,行列因数分解技術からニューラルアプローチへと移行している。
文献で報告された主張利益は, 埋め込み相関をモデル化するCNNの能力によるものではない, という分析的考察と実証的評価を通して示す。
論文 参考訳（メタデータ） (2020-07-23T10:03:47Z) - Similarity Analysis of Contextual Word Representation Models [39.12749165544309]
我々は、深層モデルにおける情報の局所化のレベルを測定するために、既存の新しい類似度尺度を用いている。
この分析により、同じ家族内のモデルが、予想されるように互いに類似していることが明らかになった。
驚くべきことに、異なるアーキテクチャは比較的類似した表現を持っているが、個々のニューロンが異なる。
論文 参考訳（メタデータ） (2020-05-03T19:48:15Z) - Architectural Resilience to Foreground-and-Background Adversarial Noise [0.0]
正常な画像の知覚不能な摂動の形でのアドリサイドアタックが広く研究されている。
本稿では,異なるネットワークアーキテクチャのレジリエンスとロバスト性を検討するために,画像の異なるモデルに依存しないベンチマーク摂動を提案する。
論文 参考訳（メタデータ） (2020-03-23T01:38:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。