論文の概要: Similarity and Matching of Neural Network Representations
- arxiv url: http://arxiv.org/abs/2110.14633v1
- Date: Wed, 27 Oct 2021 17:59:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-28 14:44:27.399037
- Title: Similarity and Matching of Neural Network Representations
- Title（参考訳）: ニューラルネットワーク表現の類似性とマッチング
- Authors: Adri\'an Csisz\'arik, P\'eter K\H{o}r\"osi-Szab\'o, \'Akos K.
Matszangosz, Gergely Papp, D\'aniel Varga
- Abstract要約: 我々は、深層ニューラルネットワークにおける表現の類似性を分析するために、Frankenstein博士と呼ばれるツールセットを使用します。
我々は、2つのトレーニングニューラルネットワークの与えられた層上でのアクティベーションを、縫合層で結合することで一致させることを目指している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We employ a toolset -- dubbed Dr. Frankenstein -- to analyse the similarity
of representations in deep neural networks. With this toolset, we aim to match
the activations on given layers of two trained neural networks by joining them
with a stitching layer. We demonstrate that the inner representations emerging
in deep convolutional neural networks with the same architecture but different
initializations can be matched with a surprisingly high degree of accuracy even
with a single, affine stitching layer. We choose the stitching layer from
several possible classes of linear transformations and investigate their
performance and properties. The task of matching representations is closely
related to notions of similarity. Using this toolset, we also provide a novel
viewpoint on the current line of research regarding similarity indices of
neural network representations: the perspective of the performance on a task.
- Abstract（参考訳）: 我々は、深層ニューラルネットワークにおける表現の類似性を分析するために、Frankenstein博士と呼ばれるツールセットを使用します。
このツールセットにより、2つのトレーニングされたニューラルネットワークの与えられたレイヤの活性化を、ステッチ層と結合させることで一致させることを目標とする。
深部畳み込みニューラルネットワークにおいて同じアーキテクチャで現れる内部表現と異なる初期化が、単一のアフィン縫合層であっても驚くほど高い精度で一致できることを実証する。
線形変換のいくつかのクラスから縫合層を選択し,その性能と特性について検討する。
表現をマッチングするタスクは類似性の概念と密接に関連している。
このツールセットを使用することで、ニューラルネットワーク表現の類似性指標に関する現在の研究のライン、すなわちタスクのパフォーマンスの視点について、新たな視点を提供する。
関連論文リスト
- Identifying Sub-networks in Neural Networks via Functionally Similar Representations [41.028797971427124]
我々は、異なるサブネットワークの存在を調査し、ネットワークの理解を自動化するための一歩を踏み出した。
我々のアプローチは、人間と計算コストを最小限に抑えたニューラルネットワークの振る舞いに関する有意義な洞察を提供する。
論文 参考訳（メタデータ） (2024-10-21T20:19:00Z) - Relational Composition in Neural Networks: A Survey and Call to Action [54.47858085003077]
多くのニューラルネットは、データを「機能ベクトル」の線形結合として表現しているように見える。
我々は、この成功は関係性の構成を理解せずに不完全であると主張する。
論文 参考訳（メタデータ） (2024-07-19T20:50:57Z) - Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。
また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
論文 参考訳（メタデータ） (2023-08-28T12:55:13Z) - Model Stitching: Looking For Functional Similarity Between
Representations [5.657258033928475]
我々は、モデルステッチを使用して、異なるシードおよび/または同じアーキテクチャのトレーニングされたニューラルネットワークによって学習された同じ形状の表現を比較する、以前の研究を拡張した。
モデル縫合の予期せぬ挙動を明らかにする。つまり、小さなResNetに対して畳み込みに基づく縫合は、第1(sender)ネットワークにおいて第2(receiver)よりも第2(receiver)ネットワークで後になっても高い精度に達する。
論文 参考訳（メタデータ） (2023-03-20T17:12:42Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-02-27T18:52:38Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Comparing Deep Neural Nets with UMAP Tour [12.910602784766562]
UMAP Tourは、現実世界のニューラルネットワークモデルの内部動作を視覚的に検査し、比較するために構築されている。
最先端のモデルで学んだ概念と、GoogLeNetやResNetといった両者の相違点を見出す。
論文 参考訳（メタデータ） (2021-10-18T15:59:13Z) - Similarity of Neural Networks with Gradients [8.804507286438781]
本稿では,特徴ベクトルと勾配ベクトルの両方を利用してニューラルネットワークの表現を設計することを提案する。
提案手法はニューラルネットワークの類似性を計算するための最先端の手法を提供する。
論文 参考訳（メタデータ） (2020-03-25T17:04:10Z) - Contrastive Similarity Matching for Supervised Learning [13.750624267664156]
本稿では,腹側視覚路の観察と深部神経回路の訓練によって動機付けられた,生物学的に有望な信用代入問題の解法を提案する。
どちらの場合も、同じ圏に属する対象の表現は徐々に類似し、異なる圏に属する対象はより類似しなくなる。
我々は、この概念を、目的関数と対比した対照的な類似性を用いて定式化し、フィードフォワード、横、フィードバック接続を持つ深層ニューラルネットワークから導出する。
論文 参考訳（メタデータ） (2020-02-24T17:10:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。