論文の概要: Soft Matching Distance: A metric on neural representations that captures single-neuron tuning

• arxiv url: http://arxiv.org/abs/2311.09466v1
• Date: Thu, 16 Nov 2023 00:13:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 17:17:52.703362
• Title: Soft Matching Distance: A metric on neural representations that captures single-neuron tuning
• Title（参考訳）: ソフトマッチング距離:単一ニューロンのチューニングを捉える神経表現の指標
• Authors: Meenakshi Khosla and Alex H. Williams
• Abstract要約: ニューラル表現(dis)相似性の共通測度は、ニューラルアクティベーション空間の回転や反射に敏感であるように設計されている。 異なる大きさのネットワーク間の距離を測定するための新しい指標を提案する。
• 参考スコア（独自算出の注目度）: 6.5714523708869566
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Common measures of neural representational (dis)similarity are designed to be insensitive to rotations and reflections of the neural activation space. Motivated by the premise that the tuning of individual units may be important, there has been recent interest in developing stricter notions of representational (dis)similarity that require neurons to be individually matched across networks. When two networks have the same size (i.e. same number of neurons), a distance metric can be formulated by optimizing over neuron index permutations to maximize tuning curve alignment. However, it is not clear how to generalize this metric to measure distances between networks with different sizes. Here, we leverage a connection to optimal transport theory to derive a natural generalization based on "soft" permutations. The resulting metric is symmetric, satisfies the triangle inequality, and can be interpreted as a Wasserstein distance between two empirical distributions. Further, our proposed metric avoids counter-intuitive outcomes suffered by alternative approaches, and captures complementary geometric insights into neural representations that are entirely missed by rotation-invariant metrics.
• Abstract（参考訳）: ニューラル表現(dis)相似性の共通測度は、ニューラルアクティベーション空間の回転や反射に敏感であるように設計されている。 個々のユニットのチューニングが重要であるという前提から、ニューロンをネットワーク間で個別にマッチングすることを要求する表現的(dis)相似性の厳密な概念を開発することへの関心が高まっている。 2つのネットワークが同じ大きさ(すなわち同じ数のニューロン)である場合、距離計量はニューロンの指数置換を最適化し、チューニング曲線のアライメントを最大化する。 しかし、この計量を一般化して、異なる大きさのネットワーク間の距離を測定する方法は不明である。 ここでは、最適輸送理論との接続を利用して「ソフト」置換に基づく自然な一般化を導出する。 結果の計量は対称であり、三角形の不等式を満たすものであり、2つの経験的分布の間のワッサーシュタイン距離と解釈できる。 さらに,提案手法は,代替手法による反直観的な結果を避け,回転不変の指標で完全に欠落する神経表現の相補的な幾何学的洞察を捉える。

関連論文リスト

• Metric Convolutions: A Unifying Theory to Adaptive Convolutions [3.481985817302898]
  メトリック畳み込みは、画像処理とディープラーニングにおける標準的な畳み込みを置き換える。 パラメータを少なくし、より良い一般化を提供する。 提案手法は,標準的な分類タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2024-06-08T08:41:12Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Symmetry Breaking and Equivariant Neural Networks [17.740760773905986]
  我々は「緩和された同注入」という新しい概念を導入する。 我々は、この緩和を同変多層パーセプトロン(E-MLP)に組み込む方法を示す。 対称性の破れの関連性は、様々な応用領域で議論される。
  論文  参考訳（メタデータ） (2023-12-14T15:06:48Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Scalable Stochastic Gradient Riemannian Langevin Dynamics in Non-Diagonal Metrics [3.8811062755861956]
  本稿では,2つの非対角的指標について述べる。 完全接続型ニューラルネットワーク(NN)と疎結合型プリエントと、相関したプリエントを持つ畳み込みNNでは、これらのメトリクスを用いることで改善が期待できることを示す。
  論文  参考訳（メタデータ） (2023-03-09T08:20:28Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Representational dissimilarity metric spaces for stochastic neural networks [4.229248343585332]
  神経表現の類似性を定量化することは、深層学習と神経科学研究における長年の問題である。 形状メトリクスを一般化して表現の違いを定量化する。 神経生物学的指向型視覚格子と自然主義的なシーンはそれぞれ、訓練されていない深層ネットワーク表現と訓練された深部ネットワーク表現に類似している。
  論文  参考訳（メタデータ） (2022-11-21T17:32:40Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)
• An Informal Introduction to Multiplet Neural Networks [0.0]
  私はドット積を重み付きリーマー平均に置き換え、一般化された平均の異なるケースをエミュレートする。 一般化パラメータは通常、多重項の各ニューロンに対して異なる値に設定される。 ネットワークのいくつかの特性について検討し、古典的な排他的問題や問題を2層にエミュレートする能力を示す。
  論文  参考訳（メタデータ） (2020-06-02T13:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。