論文の概要: Model Stitching: Looking For Functional Similarity Between
Representations
- arxiv url: http://arxiv.org/abs/2303.11277v1
- Date: Mon, 20 Mar 2023 17:12:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 14:22:05.588794
- Title: Model Stitching: Looking For Functional Similarity Between
Representations
- Title(参考訳): Model Stitching: 表現間の機能的類似性を探る
- Authors: Adriano Hernandez, Rumen Dangovski, Peter Y. Lu, Marin Soljacic
- Abstract要約: 我々は、モデルステッチを使用して、異なるシードおよび/または同じアーキテクチャのトレーニングされたニューラルネットワークによって学習された同じ形状の表現を比較する、以前の研究を拡張した。
モデル縫合の予期せぬ挙動を明らかにする。つまり、小さなResNetに対して畳み込みに基づく縫合は、第1(sender)ネットワークにおいて第2(receiver)よりも第2(receiver)ネットワークで後になっても高い精度に達する。
- 参考スコア(独自算出の注目度): 4.571080724579296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model stitching (Lenc & Vedaldi 2015) is a compelling methodology to compare
different neural network representations, because it allows us to measure to
what degree they may be interchanged. We expand on a previous work from Bansal,
Nakkiran & Barak which used model stitching to compare representations of the
same shapes learned by differently seeded and/or trained neural networks of the
same architecture. Our contribution enables us to compare the representations
learned by layers with different shapes from neural networks with different
architectures. We subsequently reveal unexpected behavior of model stitching.
Namely, we find that stitching, based on convolutions, for small ResNets, can
reach high accuracy if those layers come later in the first (sender) network
than in the second (receiver), even if those layers are far apart.
- Abstract(参考訳): モデル縫合(Lenc & Vedaldi 2015)は、異なるニューラルネットワーク表現を比較するための魅力的な方法論である。
bansal、nakkiran、barakは、同じアーキテクチャの異なるシードおよび/またはトレーニングされたニューラルネットワークによって学習された同じ形状の表現を比較するために、モデルステッチを用いた。
私たちの貢献により、ニューラルネットワークと異なるアーキテクチャの異なる形状のレイヤで学んだ表現を比較することができます。
モデル縫合の予期せぬ挙動を明らかにする。
すなわち、小さな再ネットに対する畳み込みに基づく縫い目は、その層が離れた状態であっても、第1(シンダー)ネットワークにおいて第2(レシーバ)ネットワークよりも遅くなると高い精度に到達できることがわかった。
関連論文リスト
- Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。
また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
論文 参考訳(メタデータ) (2023-08-28T12:55:13Z) - Neural Representations Reveal Distinct Modes of Class Fitting in
Residual Convolutional Networks [5.1271832547387115]
ニューラル表現の確率モデルを利用して、残余ネットワークがクラスにどのように適合するかを調べる。
調査対象モデルのクラスは均一に適合していないことがわかった。
神経表現の未発見構造は, トレーニング例の堅牢性と, 対向記憶の相関性を示す。
論文 参考訳(メタデータ) (2022-12-01T18:55:58Z) - Similarity of Neural Architectures using Adversarial Attack
Transferability [50.50231315195932]
ニューラルネットワーク間の定量的かつスケーラブルな類似度尺度を設計する。
我々は69の最先端画像ネット分類器を大規模に解析する。
我々の結果は、異なるコンポーネントを持つ多様なニューラルアーキテクチャの開発がなぜ必要かについての洞察を提供する。
論文 参考訳(メタデータ) (2022-10-20T16:56:47Z) - INSightR-Net: Interpretable Neural Network for Regression using
Similarity-based Comparisons to Prototypical Examples [2.4366811507669124]
畳み込みニューラルネットワーク(CNN)は、様々な医療画像のタスクにおいて、例外的な性能を示している。
そこで本研究では,類似度に基づく比較手法を用いて,レグレッションに対して本質的に解釈可能なCNNを提案する。
アーキテクチャに組み込まれたプロトタイプ層は、学習したプロトタイプと最もよく似た画像領域の可視化を可能にする。
最終的な予測は、類似性によって重み付けされたプロトタイプラベルの平均として直感的にモデル化される。
論文 参考訳(メタデータ) (2022-07-31T15:56:15Z) - How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。
本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。
スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
論文 参考訳(メタデータ) (2021-11-26T11:58:51Z) - Similarity and Matching of Neural Network Representations [0.0]
我々は、深層ニューラルネットワークにおける表現の類似性を分析するために、Frankenstein博士と呼ばれるツールセットを使用します。
我々は、2つのトレーニングニューラルネットワークの与えられた層上でのアクティベーションを、縫合層で結合することで一致させることを目指している。
論文 参考訳(メタデータ) (2021-10-27T17:59:46Z) - Comparing Deep Neural Nets with UMAP Tour [12.910602784766562]
UMAP Tourは、現実世界のニューラルネットワークモデルの内部動作を視覚的に検査し、比較するために構築されている。
最先端のモデルで学んだ概念と、GoogLeNetやResNetといった両者の相違点を見出す。
論文 参考訳(メタデータ) (2021-10-18T15:59:13Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - Revisiting Model Stitching to Compare Neural Representations [8.331711958610347]
我々は、$A$のボトム層と$B$のトップ層とを、それらの間に単純なトレーニング可能な層で接続することによって形成される「スティッチドモデル」を考える。
同じアーキテクチャの優れたネットワークは、非常に異なる方法で訓練されているが、性能を低下させることなく互いに縫合できることが示されています。
また,(1) 以上のデータ,(2) より大きな幅,(3) 以上のトレーニング時間で学習した表現が,より弱いモデルに"プラグイン"して性能を向上させることができることを示すことによって,「もっとよい」という直感の証拠を与える。
論文 参考訳(メタデータ) (2021-06-14T18:05:10Z) - The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network
Architectures [179.66117325866585]
我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。
この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。
画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
論文 参考訳(メタデータ) (2020-06-29T17:59:26Z) - ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image
Classification [49.87503122462432]
ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。
本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。
4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
論文 参考訳(メタデータ) (2020-06-27T13:50:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。