論文の概要: Similarity of Neural Network Models: A Survey of Functional and Representational Measures

• arxiv url: http://arxiv.org/abs/2305.06329v3
• Date: Thu, 22 Aug 2024 15:52:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 20:07:24.781976
• Title: Similarity of Neural Network Models: A Survey of Functional and Representational Measures
• Title（参考訳）: ニューラルネットワークモデルの類似性:機能的および表現的尺度の検討
• Authors: Max Klabunde, Tobias Schumacher, Markus Strohmaier, Florian Lemmerich,
• Abstract要約: ニューラルネットワークの類似性を計測して、その振る舞いを理解し、改善することは、非常に重要で研究上の関心事となっている。 ニューラルネットワークの類似性を測定するための2つの相補的視点について概説する: (i) 中間層の活性化の相違を考察する表現的類似性、 (ii) 機能的類似性、そしてモデルが出力の相違を考察する。
• 参考スコア（独自算出の注目度）: 2.56552999376511
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Measuring similarity of neural networks to understand and improve their behavior has become an issue of great importance and research interest. In this survey, we provide a comprehensive overview of two complementary perspectives of measuring neural network similarity: (i) representational similarity, which considers how activations of intermediate layers differ, and (ii) functional similarity, which considers how models differ in their outputs. In addition to providing detailed descriptions of existing measures, we summarize and discuss results on the properties of and relationships between these measures, and point to open research problems. We hope our work lays a foundation for more systematic research on the properties and applicability of similarity measures for neural network models.
• Abstract（参考訳）: ニューラルネットワークの類似性を計測して、その振る舞いを理解し、改善することは、非常に重要で研究上の関心事となっている。 本稿では,ニューラルネットワークの類似性を測定するための2つの相補的視点について概説する。 (i)中間層の活性化の相違を考慮した表現的類似性、及び (ii) 関数的類似性(英語版)は、モデルが出力でどのように異なるかを考える。 既存の対策の詳細な説明に加えて、これらの対策の諸性質と関係に関する結果を要約し、議論し、オープンな研究課題を指摘する。 私たちの研究が、ニューラルネットワークモデルに対する類似度測定の特性と適用性に関するより体系的な研究の基盤となることを願っています。

関連論文リスト

• Evaluating Representational Similarity Measures from the Lens of Functional Correspondence [1.7811840395202345]
  神経科学と人工知能(AI)はどちらも、高次元のニューラルネットワークの解釈という課題に直面している。 表象比較が広く使われているにもかかわらず、重要な疑問が残る: どの指標がこれらの比較に最も適しているのか?
  論文  参考訳（メタデータ） (2024-11-21T23:53:58Z)
• ReSi: A Comprehensive Benchmark for Representational Similarity Measures [2.3532263743300432]
  本稿では,表現類似度評価のための最初の総合的ベンチマークを提案する。 表現類似度(ReSi)ベンチマークは、(i)類似度測定のための慎重に設計された6つのテスト、(ii)23の類似度測定、(iii)ニューラルネットワークアーキテクチャー、(iv)グラフ、言語、ビジョンドメインにまたがる6つのデータセットからなる。
  論文  参考訳（メタデータ） (2024-08-01T13:08:02Z)
• Relational Composition in Neural Networks: A Survey and Call to Action [54.47858085003077]
  多くのニューラルネットは、データを「機能ベクトル」の線形結合として表現しているように見える。 我々は、この成功は関係性の構成を理解せずに不完全であると主張する。
  論文  参考訳（メタデータ） (2024-07-19T20:50:57Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Similarity of Neural Architectures using Adversarial Attack Transferability [47.66096554602005]
  ニューラルネットワーク間の定量的かつスケーラブルな類似度尺度を設計する。 我々は69の最先端画像ネット分類器を大規模に解析する。 我々の結果は、異なるコンポーネントを持つ多様なニューラルアーキテクチャの開発がなぜ必要かについての洞察を提供する。
  論文  参考訳（メタデータ） (2022-10-20T16:56:47Z)
• Generalized Shape Metrics on Neural Representations [26.78835065137714]
  表現上の相似性を定量化する計量空間の族を提供する。 我々は、正準相関解析に基づいて既存の表現類似度尺度を修正し、三角形の不等式を満たす。 解剖学的特徴とモデル性能の観点から解釈可能な神経表現の関係を同定する。
  論文  参考訳（メタデータ） (2021-10-27T19:48:55Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• Towards Interaction Detection Using Topological Analysis on Neural Networks [55.74562391439507]
  ニューラルネットワークでは、あらゆる相互作用する特徴は共通の隠蔽ユニットとの強い重み付けの接続に従う必要がある。 本稿では, 永続的ホモロジーの理論に基づいて, 相互作用強度を定量化するための新しい尺度を提案する。 PID(Persistence Interaction Detection)アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-10-25T02:15:24Z)
• Similarity of Neural Networks with Gradients [8.804507286438781]
  本稿では,特徴ベクトルと勾配ベクトルの両方を利用してニューラルネットワークの表現を設計することを提案する。 提案手法はニューラルネットワークの類似性を計算するための最先端の手法を提供する。
  論文  参考訳（メタデータ） (2020-03-25T17:04:10Z)
• Feature Importance Estimation with Self-Attention Networks [0.0]
  ブラックボックスニューラルネットワークモデルは、産業や科学で広く使われているが、理解と解釈が難しい。 近年,ニューラルネットワークモデルの内部動作に関する洞察を提供するアテンションメカニズムが導入されている。 本稿では、命題(タブラル)データから得られたモデルを説明する手段として、注目に基づくニューラルネットワーク機構を用いて特徴重要度を推定する。
  論文  参考訳（メタデータ） (2020-02-11T15:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。