論文の概要: Similarity of Neural Network Models: A Survey of Functional and Representational Measures

• arxiv url: http://arxiv.org/abs/2305.06329v1
• Date: Wed, 10 May 2023 17:33:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-11 12:07:16.114217
• Title: Similarity of Neural Network Models: A Survey of Functional and Representational Measures
• Title（参考訳）: ニューラルネットワークモデルの類似性:機能的および表現的尺度の検討
• Authors: Max Klabunde, Tobias Schumacher, Markus Strohmaier, Florian Lemmerich
• Abstract要約: ニューラルネットワークの類似性を測定することは、非常に重要な問題となっている。 我々は、中間的神経層の活性化がどのように異なるかを考える表現的類似性と、モデルが出力でどのように異なるかを考える機能的類似性という2つの相補的な視点に焦点を当てる。
• 参考スコア（独自算出の注目度）: 4.5497948012757865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Measuring similarity of neural networks has become an issue of great importance and research interest to understand and utilize differences of neural networks. While there are several perspectives on how neural networks can be similar, we specifically focus on two complementing perspectives, i.e., (i) representational similarity, which considers how activations of intermediate neural layers differ, and (ii) functional similarity, which considers how models differ in their outputs. In this survey, we provide a comprehensive overview of these two families of similarity measures for neural network models. In addition to providing detailed descriptions of existing measures, we summarize and discuss results on the properties and relationships of these measures, and point to open research problems. Further, we provide practical recommendations that can guide researchers as well as practitioners in applying the measures. We hope our work lays a foundation for our community to engage in more systematic research on the properties, nature and applicability of similarity measures for neural network models.
• Abstract（参考訳）: ニューラルネットワークの類似性を測定することは、ニューラルネットワークの差異を理解し活用する上で、非常に重要かつ研究上の関心事となっている。 ニューラルネットワークの類似性にはいくつかの視点がありますが、特に2つの補完的な視点、すなわち、 (i)中間神経層の活性化がどう異なるかを考える表現的類似性、及び (ii)出力におけるモデルの違いを考慮した機能的類似性。 本稿では,ニューラルネットワークモデルに対する類似度尺度の2つのファミリについて概説する。 既存の対策の詳細な説明に加えて、これらの対策の特性と関係に関する結果を要約し、議論し、オープンな研究課題を指摘する。 さらに,本対策の実践者だけでなく研究者を指導するための実践的勧告も提供する。 私たちの研究が、ニューラルネットワークモデルに対する類似度測定の特性、性質、適用性に関するより体系的な研究を行うための基盤を、コミュニティに築き上げたいと考えています。

関連論文リスト

• Evaluating Representational Similarity Measures from the Lens of Functional Correspondence [1.7811840395202345]
  神経科学と人工知能(AI)はどちらも、高次元のニューラルネットワークの解釈という課題に直面している。 表象比較が広く使われているにもかかわらず、重要な疑問が残る: どの指標がこれらの比較に最も適しているのか?
  論文  参考訳（メタデータ） (2024-11-21T23:53:58Z)
• ReSi: A Comprehensive Benchmark for Representational Similarity Measures [2.3532263743300432]
  本稿では,表現類似度評価のための最初の総合的ベンチマークを提案する。 表現類似度(ReSi)ベンチマークは、(i)類似度測定のための慎重に設計された6つのテスト、(ii)23の類似度測定、(iii)ニューラルネットワークアーキテクチャー、(iv)グラフ、言語、ビジョンドメインにまたがる6つのデータセットからなる。
  論文  参考訳（メタデータ） (2024-08-01T13:08:02Z)
• Relational Composition in Neural Networks: A Survey and Call to Action [54.47858085003077]
  多くのニューラルネットは、データを「機能ベクトル」の線形結合として表現しているように見える。 我々は、この成功は関係性の構成を理解せずに不完全であると主張する。
  論文  参考訳（メタデータ） (2024-07-19T20:50:57Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Similarity of Neural Architectures using Adversarial Attack Transferability [47.66096554602005]
  ニューラルネットワーク間の定量的かつスケーラブルな類似度尺度を設計する。 我々は69の最先端画像ネット分類器を大規模に解析する。 我々の結果は、異なるコンポーネントを持つ多様なニューラルアーキテクチャの開発がなぜ必要かについての洞察を提供する。
  論文  参考訳（メタデータ） (2022-10-20T16:56:47Z)
• Generalized Shape Metrics on Neural Representations [26.78835065137714]
  表現上の相似性を定量化する計量空間の族を提供する。 我々は、正準相関解析に基づいて既存の表現類似度尺度を修正し、三角形の不等式を満たす。 解剖学的特徴とモデル性能の観点から解釈可能な神経表現の関係を同定する。
  論文  参考訳（メタデータ） (2021-10-27T19:48:55Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• Towards Interaction Detection Using Topological Analysis on Neural Networks [55.74562391439507]
  ニューラルネットワークでは、あらゆる相互作用する特徴は共通の隠蔽ユニットとの強い重み付けの接続に従う必要がある。 本稿では, 永続的ホモロジーの理論に基づいて, 相互作用強度を定量化するための新しい尺度を提案する。 PID(Persistence Interaction Detection)アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-10-25T02:15:24Z)
• Similarity of Neural Networks with Gradients [8.804507286438781]
  本稿では,特徴ベクトルと勾配ベクトルの両方を利用してニューラルネットワークの表現を設計することを提案する。 提案手法はニューラルネットワークの類似性を計算するための最先端の手法を提供する。
  論文  参考訳（メタデータ） (2020-03-25T17:04:10Z)
• Feature Importance Estimation with Self-Attention Networks [0.0]
  ブラックボックスニューラルネットワークモデルは、産業や科学で広く使われているが、理解と解釈が難しい。 近年,ニューラルネットワークモデルの内部動作に関する洞察を提供するアテンションメカニズムが導入されている。 本稿では、命題(タブラル)データから得られたモデルを説明する手段として、注目に基づくニューラルネットワーク機構を用いて特徴重要度を推定する。
  論文  参考訳（メタデータ） (2020-02-11T15:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。