論文の概要: Duality of Bures and Shape Distances with Implications for Comparing Neural Representations

• arxiv url: http://arxiv.org/abs/2311.11436v1
• Date: Sun, 19 Nov 2023 22:17:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-21 20:17:13.418402
• Title: Duality of Bures and Shape Distances with Implications for Comparing Neural Representations
• Title（参考訳）: バーと形状距離の二重性とニューラル表現の比較
• Authors: Sarah E. Harvey, Brett W. Larsen, Alex H. Williams
• Abstract要約: ニューラルネットワーク表現間の複数の類似度尺度が提案され、その結果、断片化された研究ランドスケープが生み出された。 第一に、線形回帰、正準相関解析(CCA)、形状距離などの尺度は、全て類似性を定量化するために神経ユニット間の明示的なマッピングを学習する。 第二に、表現類似性分析(RSA)、中心核アライメント(CKA)、正規化されたバーズ類似性(NBS)といった尺度は、すべて要約統計において類似性を定量化する。
• 参考スコア（独自算出の注目度）: 6.698235069945606
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A multitude of (dis)similarity measures between neural network representations have been proposed, resulting in a fragmented research landscape. Most of these measures fall into one of two categories. First, measures such as linear regression, canonical correlations analysis (CCA), and shape distances, all learn explicit mappings between neural units to quantify similarity while accounting for expected invariances. Second, measures such as representational similarity analysis (RSA), centered kernel alignment (CKA), and normalized Bures similarity (NBS) all quantify similarity in summary statistics, such as stimulus-by-stimulus kernel matrices, which are already invariant to expected symmetries. Here, we take steps towards unifying these two broad categories of methods by observing that the cosine of the Riemannian shape distance (from category 1) is equal to NBS (from category 2). We explore how this connection leads to new interpretations of shape distances and NBS, and draw contrasts of these measures with CKA, a popular similarity measure in the deep learning literature.
• Abstract（参考訳）: ニューラルネットワーク表現間の複数の類似度尺度が提案され、その結果、断片化された研究ランドスケープが生み出された。 これらの措置のほとんどは2つのカテゴリーの1つに分類される。 第一に、線形回帰、正準相関解析(CCA)、形状距離といった尺度は、期待される不変性を考慮して類似性を定量化するために神経ユニット間の明示的なマッピングを学習する。 第二に、表現的類似度解析(RSA)、中心核アライメント(CKA)、正規化されたバーズ類似度(NBS)といった尺度は、既に期待される対称性に不変である刺激バイ刺激核行列のような要約統計において類似度を定量化する。 ここでは、リーマン形状距離(圏 1 から)の余弦が NBS (圏 2 から) に等しいことを観察することによって、これらの2つの広い圏の方法を統合するためのステップをとる。 この関係が形状距離やNBSの新たな解釈につながるのかを考察し、深層学習文学において一般的な類似度尺度であるCKAと対比する。

関連論文リスト

• Evaluating Representational Similarity Measures from the Lens of Functional Correspondence [1.7811840395202345]
  神経科学と人工知能(AI)はどちらも、高次元のニューラルネットワークの解釈という課題に直面している。 表象比較が広く使われているにもかかわらず、重要な疑問が残る: どの指標がこれらの比較に最も適しているのか?
  論文  参考訳（メタデータ） (2024-11-21T23:53:58Z)
• What Representational Similarity Measures Imply about Decodable Information [6.5879381737929945]
  我々は、デコーディングの観点から、いくつかのニューラルネットワーク類似度尺度が等価に動機付けられることを示した。 CKAやCCAといった手法は、デコードタスクの分散を通して最適な線形読み込み間の平均的なアライメントを定量化します。 全体として、我々の研究は、神経表現の幾何学と情報を線形に復号する能力の密接な関係を実証している。
  論文  参考訳（メタデータ） (2024-11-12T21:37:10Z)
• Differentiable Optimization of Similarity Scores Between Models and Brains [1.5391321019692434]
  線形回帰、CKA(Centered Kernel Alignment)、正規化バーレス類似度(NBS)、角状プロクリスト距離といった類似度は、この類似度を定量化するためにしばしば用いられる。 本稿では、類似度の高いスコアと「良い」スコアを構成するスコアについて調査する新しいツールについて紹介する。 驚くべきことに、高い類似度スコアは、ニューラルデータと整合した方法でタスク関連情報を符号化することを保証していない。
  論文  参考訳（メタデータ） (2024-07-09T17:31:47Z)
• Cluster-Aware Similarity Diffusion for Instance Retrieval [64.40171728912702]
  拡散に基づく再ランク付け(diffusion-based re-level)は、隣り合うグラフで類似性の伝播を実行することで、インスタンスを検索する一般的な方法である。 本稿では,新しいクラスタ・アウェア類似性(CAS)拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-06-04T14:19:50Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Counting Like Human: Anthropoid Crowd Counting on Modeling the Similarity of Objects [92.80955339180119]
  メインストリームの群衆計数法は 密度マップを補強して 計数結果を得るために統合する。 これに触発された我々は,合理的かつ人為的な集団カウントフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-02T07:00:53Z)
• Partial Shape Similarity via Alignment of Multi-Metric Hamiltonian Spectra [10.74981839055037]
  そこで本研究では, 形状の類似した領域に適合する新しい公理的手法を提案する。 類似した領域のマッチングは、ラプラス・ベルトラミ作用素(LBO)と密接に関連する作用素のスペクトルのアライメントとして定式化される これらのデュアルスペクトルのマッチングは、標準ベンチマークでテストした場合、競合する公理的フレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-07T00:03:50Z)
• Deconfounded Representation Similarity for Comparison of Neural Networks [16.23053104309891]
  類似度指標は、入力空間内のデータ項目の集団構造によって構成される。 類似度指標を分解することで,意味論的に類似したニューラルネットワークを検出する分解能が向上することを示す。
  論文  参考訳（メタデータ） (2022-01-31T21:25:02Z)
• Kernel distance measures for time series, random fields and other structured data [71.61147615789537]
  kdiffは、構造化データのインスタンス間の距離を推定するためのカーネルベースの新しい尺度である。 これはインスタンス間の自己類似性と交差類似性の両方を考慮し、距離分布の低い定量値を用いて定義される。 kdiffをクラスタリングと分類問題のための距離尺度として用いた分離性条件について,いくつかの理論的結果が得られた。
  論文  参考訳（メタデータ） (2021-09-29T22:54:17Z)
• Learning from Aggregate Observations [82.44304647051243]
  本研究では,一組のインスタンスに監視信号が与えられる集合観察から学習する問題について検討する。 本稿では,多種多様な集合観測に適合する一般的な確率的枠組みを提案する。 単純な極大解は様々な微分可能なモデルに適用できる。
  論文  参考訳（メタデータ） (2020-04-14T06:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。