論文の概要: Duality of Bures and Shape Distances with Implications for Comparing
Neural Representations
- arxiv url: http://arxiv.org/abs/2311.11436v1
- Date: Sun, 19 Nov 2023 22:17:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 20:17:13.418402
- Title: Duality of Bures and Shape Distances with Implications for Comparing
Neural Representations
- Title(参考訳): バーと形状距離の二重性とニューラル表現の比較
- Authors: Sarah E. Harvey, Brett W. Larsen, Alex H. Williams
- Abstract要約: ニューラルネットワーク表現間の複数の類似度尺度が提案され、その結果、断片化された研究ランドスケープが生み出された。
第一に、線形回帰、正準相関解析(CCA)、形状距離などの尺度は、全て類似性を定量化するために神経ユニット間の明示的なマッピングを学習する。
第二に、表現類似性分析(RSA)、中心核アライメント(CKA)、正規化されたバーズ類似性(NBS)といった尺度は、すべて要約統計において類似性を定量化する。
- 参考スコア(独自算出の注目度): 6.698235069945606
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A multitude of (dis)similarity measures between neural network
representations have been proposed, resulting in a fragmented research
landscape. Most of these measures fall into one of two categories.
First, measures such as linear regression, canonical correlations analysis
(CCA), and shape distances, all learn explicit mappings between neural units to
quantify similarity while accounting for expected invariances. Second, measures
such as representational similarity analysis (RSA), centered kernel alignment
(CKA), and normalized Bures similarity (NBS) all quantify similarity in summary
statistics, such as stimulus-by-stimulus kernel matrices, which are already
invariant to expected symmetries. Here, we take steps towards unifying these
two broad categories of methods by observing that the cosine of the Riemannian
shape distance (from category 1) is equal to NBS (from category 2). We explore
how this connection leads to new interpretations of shape distances and NBS,
and draw contrasts of these measures with CKA, a popular similarity measure in
the deep learning literature.
- Abstract(参考訳): ニューラルネットワーク表現間の複数の類似度尺度が提案され、その結果、断片化された研究ランドスケープが生み出された。
これらの措置のほとんどは2つのカテゴリーの1つに分類される。
第一に、線形回帰、正準相関解析(CCA)、形状距離といった尺度は、期待される不変性を考慮して類似性を定量化するために神経ユニット間の明示的なマッピングを学習する。
第二に、表現的類似度解析(RSA)、中心核アライメント(CKA)、正規化されたバーズ類似度(NBS)といった尺度は、既に期待される対称性に不変である刺激バイ刺激核行列のような要約統計において類似度を定量化する。
ここでは、リーマン形状距離(圏 1 から)の余弦が NBS (圏 2 から) に等しいことを観察することによって、これらの2つの広い圏の方法を統合するためのステップをとる。
この関係が形状距離やNBSの新たな解釈につながるのかを考察し、深層学習文学において一般的な類似度尺度であるCKAと対比する。
関連論文リスト
- A U-turn on Double Descent: Rethinking Parameter Counting in Statistical
Learning [68.76846801719095]
二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。
これは二重降下と統計的直観の間の緊張を解消する。
論文 参考訳(メタデータ) (2023-10-29T12:05:39Z) - Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。
また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
論文 参考訳(メタデータ) (2023-08-28T12:55:13Z) - Similarity of Neural Network Models: A Survey of Functional and
Representational Measures [4.5497948012757865]
ニューラルネットワークの類似性を計測して、その振る舞いを理解し、改善することは、非常に重要で研究上の関心事となっている。
ニューラルネットワークの類似性を測定するための2つの相補的視点について概説する: (i) 中間層の活性化の相違を考察する表現的類似性、 (ii) 機能的類似性、そしてモデルが出力の相違を考察する。
論文 参考訳(メタデータ) (2023-05-10T17:33:48Z) - Counting Like Human: Anthropoid Crowd Counting on Modeling the
Similarity of Objects [92.80955339180119]
メインストリームの群衆計数法は 密度マップを補強して 計数結果を得るために統合する。
これに触発された我々は,合理的かつ人為的な集団カウントフレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-02T07:00:53Z) - Partial Shape Similarity via Alignment of Multi-Metric Hamiltonian
Spectra [10.74981839055037]
そこで本研究では, 形状の類似した領域に適合する新しい公理的手法を提案する。
類似した領域のマッチングは、ラプラス・ベルトラミ作用素(LBO)と密接に関連する作用素のスペクトルのアライメントとして定式化される
これらのデュアルスペクトルのマッチングは、標準ベンチマークでテストした場合、競合する公理的フレームワークよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-07-07T00:03:50Z) - Deconfounded Representation Similarity for Comparison of Neural Networks [16.23053104309891]
類似度指標は、入力空間内のデータ項目の集団構造によって構成される。
類似度指標を分解することで,意味論的に類似したニューラルネットワークを検出する分解能が向上することを示す。
論文 参考訳(メタデータ) (2022-01-31T21:25:02Z) - Kernel distance measures for time series, random fields and other
structured data [71.61147615789537]
kdiffは、構造化データのインスタンス間の距離を推定するためのカーネルベースの新しい尺度である。
これはインスタンス間の自己類似性と交差類似性の両方を考慮し、距離分布の低い定量値を用いて定義される。
kdiffをクラスタリングと分類問題のための距離尺度として用いた分離性条件について,いくつかの理論的結果が得られた。
論文 参考訳(メタデータ) (2021-09-29T22:54:17Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Learning from Aggregate Observations [82.44304647051243]
本研究では,一組のインスタンスに監視信号が与えられる集合観察から学習する問題について検討する。
本稿では,多種多様な集合観測に適合する一般的な確率的枠組みを提案する。
単純な極大解は様々な微分可能なモデルに適用できる。
論文 参考訳(メタデータ) (2020-04-14T06:18:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。