論文の概要: Differentiable Optimization of Similarity Scores Between Models and Brains

• arxiv url: http://arxiv.org/abs/2407.07059v2
• Date: Mon, 21 Oct 2024 16:34:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 22:51:19.946610
• Title: Differentiable Optimization of Similarity Scores Between Models and Brains
• Title（参考訳）: モデルと脳の類似度スコアの微分可能最適化
• Authors: Nathan Cloos, Moufan Li, Markus Siegel, Scott L. Brincat, Earl K. Miller, Guangyu Robert Yang, Christopher J. Cueva,
• Abstract要約: 線形回帰、CKA(Centered Kernel Alignment)、正規化バーレス類似度(NBS)、角状プロクリスト距離といった類似度は、この類似度を定量化するためにしばしば用いられる。 本稿では、類似度の高いスコアと「良い」スコアを構成するスコアについて調査する新しいツールについて紹介する。 驚くべきことに、高い類似度スコアは、ニューラルデータと整合した方法でタスク関連情報を符号化することを保証していない。
• 参考スコア（独自算出の注目度）: 1.5391321019692434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How do we know if two systems - biological or artificial - process information in a similar way? Similarity measures such as linear regression, Centered Kernel Alignment (CKA), Normalized Bures Similarity (NBS), and angular Procrustes distance, are often used to quantify this similarity. However, it is currently unclear what drives high similarity scores and even what constitutes a "good" score. Here, we introduce a novel tool to investigate these questions by differentiating through similarity measures to directly maximize the score. Surprisingly, we find that high similarity scores do not guarantee encoding task-relevant information in a manner consistent with neural data; and this is particularly acute for CKA and even some variations of cross-validated and regularized linear regression. We find no consistent threshold for a good similarity score - it depends on both the measure and the dataset. In addition, synthetic datasets optimized to maximize similarity scores initially learn the highest variance principal component of the target dataset, but some methods like angular Procrustes capture lower variance dimensions much earlier than methods like CKA. To shed light on this, we mathematically derive the sensitivity of CKA, angular Procrustes, and NBS to the variance of principal component dimensions, and explain the emphasis CKA places on high variance components. Finally, by jointly optimizing multiple similarity measures, we characterize their allowable ranges and reveal that some similarity measures are more constraining than others. While current measures offer a seemingly straightforward way to quantify the similarity between neural systems, our work underscores the need for careful interpretation. We hope the tools we developed will be used by practitioners to better understand current and future similarity measures.
• Abstract（参考訳）: 2つのシステム - 生物学的または人工的な - が同様の方法で情報を処理しているかどうかをどうやって知るのか? 線形回帰、CKA(Centered Kernel Alignment)、正規化バーレス類似度(NBS)、角状プロクリスト距離といった類似度は、この類似度を定量化するためにしばしば用いられる。 しかし、どの点が高い類似点と「良い」点を構成しているのかは現時点では不明である。 本稿では,これらの質問を類似度尺度で識別し,スコアを直接最大化する新しいツールを提案する。 驚くべきことに、高い類似度スコアは、ニューラルネットワークと整合した方法でタスク関連情報を符号化することを保証していない。 よい類似度スコアには一貫性のあるしきい値が見つからない - 測定値とデータセットの両方に依存します。 さらに、類似度スコアを最大化するために最適化された合成データセットは、まずターゲットデータセットの最も分散主成分を学習するが、角状プロクリストのようないくつかの手法は、CKAのような手法よりもはるかに早く、低分散次元をキャプチャする。 そこで本研究では,CKA,角状プロクリスト,NBSの感度を主成分の分散に対して数学的に導出し,高分散成分に重きを置くCKAについて説明する。 最後に、複数の類似度尺度を共同最適化することにより、許容範囲を特徴づけ、いくつかの類似度尺度が他のものよりもより制約的であることを明らかにする。 現在の測定基準は、ニューラルネットワーク間の類似性を定量化するための一見単純な方法であるが、我々の研究は、慎重に解釈する必要性を浮き彫りにしている。 私たちが開発したツールが,現在と将来の類似性対策をよりよく理解するために,実践者によって使用されることを期待しています。

関連論文リスト

• Evaluating Representational Similarity Measures from the Lens of Functional Correspondence [1.7811840395202345]
  神経科学と人工知能(AI)はどちらも、高次元のニューラルネットワークの解釈という課題に直面している。 表象比較が広く使われているにもかかわらず、重要な疑問が残る: どの指標がこれらの比較に最も適しているのか?
  論文  参考訳（メタデータ） (2024-11-21T23:53:58Z)
• Measuring similarity between embedding spaces using induced neighborhood graphs [10.056989400384772]
  本稿では,ペアの項目表現の類似性を評価するための指標を提案する。 この結果から,類似度とゼロショット分類タスクの精度が類似度と相関していることが示唆された。
  論文  参考訳（メタデータ） (2024-11-13T15:22:33Z)
• What Representational Similarity Measures Imply about Decodable Information [6.5879381737929945]
  我々は、デコーディングの観点から、いくつかのニューラルネットワーク類似度尺度が等価に動機付けられることを示した。 CKAやCCAといった手法は、デコードタスクの分散を通して最適な線形読み込み間の平均的なアライメントを定量化します。 全体として、我々の研究は、神経表現の幾何学と情報を線形に復号する能力の密接な関係を実証している。
  論文  参考訳（メタデータ） (2024-11-12T21:37:10Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Rethinking k-means from manifold learning perspective [122.38667613245151]
  平均推定なしで直接データのクラスタを検出する新しいクラスタリングアルゴリズムを提案する。 具体的には,バタワースフィルタを用いてデータ点間の距離行列を構成する。 異なる視点に埋め込まれた相補的な情報をうまく活用するために、テンソルのSchatten p-norm正規化を利用する。
  論文  参考訳（メタデータ） (2023-05-12T03:01:41Z)
• Reliability of CKA as a Similarity Measure in Deep Learning [17.555458413538233]
  我々はCKA感度を多種多様な単純な変換に特徴付ける分析を行う。 CKA類似度測定のいくつかの弱点について検討し、予期せぬ結果や反直感的な結果をもたらす状況を示す。 以上の結果から,CKAの値はモデルの機能的振る舞いにかなりの変化を伴わずに容易に操作できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-28T14:32:52Z)
• Efficient Approximate Kernel Based Spike Sequence Classification [56.2938724367661]
  SVMのような機械学習モデルは、シーケンスのペア間の距離/相似性の定義を必要とする。 厳密な手法により分類性能は向上するが、計算コストが高い。 本稿では,その予測性能を向上させるために,近似カーネルの性能を改善する一連の方法を提案する。
  論文  参考訳（メタデータ） (2022-09-11T22:44:19Z)
• Towards Similarity-Aware Time-Series Classification [51.2400839966489]
  時系列データマイニングの基本課題である時系列分類(TSC)について検討する。 グラフニューラルネットワーク(GNN)を用いて類似情報をモデル化するフレームワークであるSimTSCを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:14:57Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• Making Affine Correspondences Work in Camera Geometry Computation [62.7633180470428]
  局所的な特徴は、ポイント・ツー・ポイント対応ではなく、リージョン・ツー・リージョンを提供する。 本稿では,全モデル推定パイプラインにおいて,地域間マッチングを効果的に活用するためのガイドラインを提案する。 実験により、アフィンソルバはより高速な実行時にポイントベースソルバに匹敵する精度を達成できることが示された。
  論文  参考訳（メタデータ） (2020-07-20T12:07:48Z)
• Learning similarity measures from data [1.4766350834632755]
  類似度尺度を定義することは、いくつかの機械学習手法の要件である。 データセットは通常、CBRや機械学習システムの構築の一部として収集される。 本研究の目的は,機械学習を用いて類似度を効果的に学習する方法を検討することである。
  論文  参考訳（メタデータ） (2020-01-15T13:29:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。