論文の概要: Similarity of Neural Architectures Based on Input Gradient Transferability

• arxiv url: http://arxiv.org/abs/2210.11407v1
• Date: Thu, 20 Oct 2022 16:56:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 14:06:43.198381
• Title: Similarity of Neural Architectures Based on Input Gradient Transferability
• Title（参考訳）: 入力勾配伝達性に基づくニューラルネットワークの類似性
• Authors: Jaehui Hwang and Dongyoon Han and Byeongho Heo and Song Park and Sanghyuk Chun and Jong-Seok Lee
• Abstract要約: 2つのネットワークの対向サンプルを生成し、各ネットワークの対向サンプルの平均精度を計測する。 我々の研究結果は、異なるニューラルネットワークアーキテクチャと相互作用する際に、モデルの多様性が重要な役割を担っていることを示している。
• 参考スコア（独自算出の注目度）: 35.605761786374515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we aim to design a quantitative similarity function between two neural architectures. Specifically, we define a model similarity using input gradient transferability. We generate adversarial samples of two networks and measure the average accuracy of the networks on adversarial samples of each other. If two networks are highly correlated, then the attack transferability will be high, resulting in high similarity. Using the similarity score, we investigate two topics: (1) Which network component contributes to the model diversity? (2) How does model diversity affect practical scenarios? We answer the first question by providing feature importance analysis and clustering analysis. The second question is validated by two different scenarios: model ensemble and knowledge distillation. Our findings show that model diversity takes a key role when interacting with different neural architectures. For example, we found that more diversity leads to better ensemble performance. We also observe that the relationship between teacher and student networks and distillation performance depends on the choice of the base architecture of the teacher and student networks. We expect our analysis tool helps a high-level understanding of differences between various neural architectures as well as practical guidance when using multiple architectures.
• Abstract（参考訳）: 本稿では,2つのニューラルアーキテクチャ間の定量的類似性を設計することを目的とする。 具体的には,入力勾配伝達可能性を用いたモデル類似性を定義する。 2つのネットワークの対向的サンプルを生成し,対向的サンプル上でのネットワークの平均精度を測定した。 2つのネットワークが高い相関性を持つ場合、攻撃伝達率は高くなり、高い類似性をもたらす。 類似度スコアを用いて,(1)どのネットワークコンポーネントがモデルの多様性に寄与するのか? 2)モデル多様性は実用シナリオにどのように影響するか? 特徴量分析とクラスタリング分析を提供することで、最初の質問に答える。 2つ目の質問はモデルアンサンブルと知識蒸留という2つの異なるシナリオによって検証される。 その結果,モデル多様性は,異なるニューラルアーキテクチャとのインタラクションにおいて重要な役割を担っていることがわかった。 例えば、より多くの多様性がより良いアンサンブルパフォーマンスをもたらすことが分かりました。 また, 教師と生徒のネットワークと蒸留性能の関係は, 教師と学生のネットワークの基盤構造の選択に依存することを観察した。 分析ツールは、さまざまなニューラルアーキテクチャの違いの高レベルな理解を助けるとともに、複数のアーキテクチャを使用する際の実践的なガイダンスを期待する。

関連論文リスト

• Modularity in Transformers: Investigating Neuron Separability & Specialization [0.0]
  トランスフォーマーモデルは様々なアプリケーションでますます普及していますが、内部動作に対する我々の理解は限定的です。 本稿では、視覚(ViT)モデルと言語(Mistral 7B)モデルの両方に着目し、トランスフォーマーアーキテクチャ内のニューロンのモジュラリティとタスクの特殊化について検討する。 選択的プルーニングとMoEficationクラスタリングの組み合わせを用いて、異なるタスクやデータサブセットにわたるニューロンの重複と特殊化を分析する。
  論文  参考訳（メタデータ） (2024-08-30T14:35:01Z)
• Characterization of topological structures in different neural network architectures [0.0]
  本研究では,異なるアーキテクチャの表現を解析し,その表現を用いて有効な結果を得る方法を提案する。 これらの手法をResNet, VGG19, ViTアーキテクチャに適用し, 類似点と相違点が認められた。
  論文  参考訳（メタデータ） (2024-07-08T18:02:18Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Neural Dependencies Emerging from Learning Massive Categories [94.77992221690742]
  この研究は、大規模画像分類のために学んだニューラルネットワークに関する2つの驚くべき発見を示す。 1) 十分に訓練されたモデルが与えられた場合、いくつかのカテゴリで予測されたロジットは、他のいくつかのカテゴリの予測を線形に組み合わせることで直接得ることができる。 2) 神経依存は1つのモデルに留まらず、2つの独立した学習モデルの間にさえ存在する。
  論文  参考訳（メタデータ） (2022-11-21T09:42:15Z)
• DeepDC: Deep Distance Correlation as a Perceptual Image Quality Evaluator [53.57431705309919]
  ImageNet Pre-trained Deep Neural Network (DNN)は、効果的な画像品質評価(IQA)モデルを構築するための顕著な転送性を示す。 我々は,事前学習DNN機能のみに基づく新しいフル参照IQA(FR-IQA)モデルを開発した。 5つの標準IQAデータセット上で,提案した品質モデルの優位性を示すため,包括的実験を行った。
  論文  参考訳（メタデータ） (2022-11-09T14:57:27Z)
• Towards a Predictive Processing Implementation of the Common Model of Cognition [79.63867412771461]
  本稿では,ニューラル生成符号化とホログラフィック連想記憶に基づく認知モデルの実装について述べる。 提案システムは,多様なタスクから継続的に学習し,大規模に人的パフォーマンスをモデル化するエージェントを開発するための基盤となる。
  論文  参考訳（メタデータ） (2021-05-15T22:55:23Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• Critically Examining the Claimed Value of Convolutions over User-Item Embedding Maps for Recommender Systems [14.414055798999764]
  近年,推薦システムの領域におけるアルゴリズム研究は,行列因数分解技術からニューラルアプローチへと移行している。 文献で報告された主張利益は, 埋め込み相関をモデル化するCNNの能力によるものではない, という分析的考察と実証的評価を通して示す。
  論文  参考訳（メタデータ） (2020-07-23T10:03:47Z)
• Similarity Analysis of Contextual Word Representation Models [39.12749165544309]
  我々は、深層モデルにおける情報の局所化のレベルを測定するために、既存の新しい類似度尺度を用いている。 この分析により、同じ家族内のモデルが、予想されるように互いに類似していることが明らかになった。 驚くべきことに、異なるアーキテクチャは比較的類似した表現を持っているが、個々のニューロンが異なる。
  論文  参考訳（メタデータ） (2020-05-03T19:48:15Z)
• Architectural Resilience to Foreground-and-Background Adversarial Noise [0.0]
  正常な画像の知覚不能な摂動の形でのアドリサイドアタックが広く研究されている。 本稿では,異なるネットワークアーキテクチャのレジリエンスとロバスト性を検討するために,画像の異なるモデルに依存しないベンチマーク摂動を提案する。
  論文  参考訳（メタデータ） (2020-03-23T01:38:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。