論文の概要: Differentiable Optimization of Similarity Scores Between Models and Brains
- arxiv url: http://arxiv.org/abs/2407.07059v2
- Date: Mon, 21 Oct 2024 16:34:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:11:06.541476
- Title: Differentiable Optimization of Similarity Scores Between Models and Brains
- Title(参考訳): モデルと脳の類似度スコアの微分可能最適化
- Authors: Nathan Cloos, Moufan Li, Markus Siegel, Scott L. Brincat, Earl K. Miller, Guangyu Robert Yang, Christopher J. Cueva,
- Abstract要約: 線形回帰、CKA(Centered Kernel Alignment)、正規化バーレス類似度(NBS)、角状プロクリスト距離といった類似度は、この類似度を定量化するためにしばしば用いられる。
本稿では、類似度の高いスコアと「良い」スコアを構成するスコアについて調査する新しいツールについて紹介する。
驚くべきことに、高い類似度スコアは、ニューラルデータと整合した方法でタスク関連情報を符号化することを保証していない。
- 参考スコア(独自算出の注目度): 1.5391321019692434
- License:
- Abstract: How do we know if two systems - biological or artificial - process information in a similar way? Similarity measures such as linear regression, Centered Kernel Alignment (CKA), Normalized Bures Similarity (NBS), and angular Procrustes distance, are often used to quantify this similarity. However, it is currently unclear what drives high similarity scores and even what constitutes a "good" score. Here, we introduce a novel tool to investigate these questions by differentiating through similarity measures to directly maximize the score. Surprisingly, we find that high similarity scores do not guarantee encoding task-relevant information in a manner consistent with neural data; and this is particularly acute for CKA and even some variations of cross-validated and regularized linear regression. We find no consistent threshold for a good similarity score - it depends on both the measure and the dataset. In addition, synthetic datasets optimized to maximize similarity scores initially learn the highest variance principal component of the target dataset, but some methods like angular Procrustes capture lower variance dimensions much earlier than methods like CKA. To shed light on this, we mathematically derive the sensitivity of CKA, angular Procrustes, and NBS to the variance of principal component dimensions, and explain the emphasis CKA places on high variance components. Finally, by jointly optimizing multiple similarity measures, we characterize their allowable ranges and reveal that some similarity measures are more constraining than others. While current measures offer a seemingly straightforward way to quantify the similarity between neural systems, our work underscores the need for careful interpretation. We hope the tools we developed will be used by practitioners to better understand current and future similarity measures.
- Abstract(参考訳): 2つのシステム - 生物学的または人工的な - が同様の方法で情報を処理しているかどうかをどうやって知るのか?
線形回帰、CKA(Centered Kernel Alignment)、正規化バーレス類似度(NBS)、角状プロクリスト距離といった類似度は、この類似度を定量化するためにしばしば用いられる。
しかし、どの点が高い類似点と「良い」点を構成しているのかは現時点では不明である。
本稿では,これらの質問を類似度尺度で識別し,スコアを直接最大化する新しいツールを提案する。
驚くべきことに、高い類似度スコアは、ニューラルネットワークと整合した方法でタスク関連情報を符号化することを保証していない。
よい類似度スコアには一貫性のあるしきい値が見つからない - 測定値とデータセットの両方に依存します。
さらに、類似度スコアを最大化するために最適化された合成データセットは、まずターゲットデータセットの最も分散主成分を学習するが、角状プロクリストのようないくつかの手法は、CKAのような手法よりもはるかに早く、低分散次元をキャプチャする。
そこで本研究では,CKA,角状プロクリスト,NBSの感度を主成分の分散に対して数学的に導出し,高分散成分に重きを置くCKAについて説明する。
最後に、複数の類似度尺度を共同最適化することにより、許容範囲を特徴づけ、いくつかの類似度尺度が他のものよりもより制約的であることを明らかにする。
現在の測定基準は、ニューラルネットワーク間の類似性を定量化するための一見単純な方法であるが、我々の研究は、慎重に解釈する必要性を浮き彫りにしている。
私たちが開発したツールが,現在と将来の類似性対策をよりよく理解するために,実践者によって使用されることを期待しています。
関連論文リスト
- Correcting Biased Centered Kernel Alignment Measures in Biological and Artificial Neural Networks [4.437949196235149]
Centred Kernel Alignment (CKA)は、生物と人工ニューラルネットワーク(ANN)のアクティベーションを比較するための一般的な指標として最近登場した。
本稿では,ニューラルネットワークのアライメント指標としてCKAを使用する場合,コミュニティが考慮すべき課題について述べる。
論文 参考訳(メタデータ) (2024-05-02T05:27:12Z) - Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。
LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。
LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
論文 参考訳(メタデータ) (2024-03-11T05:35:38Z) - Using Ensemble Inference to Improve Recall of Clone Detection [0.0]
大規模なソースコードクローン検出は難しい課題である。
我々は、最先端のニューラルネットワークモデル4つを採用し、それらを個別に/または組み合わせて評価する。
その結果、およそ5万行のC/C++コードからなるイラストレーションデータセット上で、アンサンブル推論は、すべての試行ケースで個々のモデルよりも優れていることが示唆された。
論文 参考訳(メタデータ) (2024-02-12T09:44:59Z) - Target Variable Engineering [0.0]
数値的対象を予測するために訓練された回帰モデルの予測性能と、2項化対象を予測するために訓練された分類器を比較した。
回帰は最適性能に収束するためには、はるかに多くの計算作業を必要とする。
論文 参考訳(メタデータ) (2023-10-13T23:12:21Z) - The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease
detection [51.697248252191265]
この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。
我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。
このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
論文 参考訳(メタデータ) (2023-09-13T10:40:41Z) - Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。
また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
論文 参考訳(メタデータ) (2023-08-28T12:55:13Z) - Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。
特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文 参考訳(メタデータ) (2023-04-04T17:54:32Z) - Noise-cleaning the precision matrix of fMRI time series [2.6399022396257794]
いくつかの標準ノイズクリーニングアルゴリズムを考察し、2種類のデータセットと比較する。
各アルゴリズムの信頼性は、テストセット確率と、合成データの場合、真の精度行列からの距離で評価される。
パラメータの1つをクロスバリデーションにより最適化する最適回転不変量推定器の変種を提案する。
論文 参考訳(メタデータ) (2023-02-06T17:32:17Z) - Can we achieve robustness from data alone? [0.7366405857677227]
敵の訓練とその変種は、ニューラルネットワークを用いた敵の堅牢な分類を実現するための一般的な方法となっている。
そこで我々は,ロバストな分類のためのメタラーニング手法を考案し,その展開前のデータセットを原則的に最適化する。
MNIST と CIFAR-10 の実験により、我々が生成するデータセットはPGD 攻撃に対して非常に高い堅牢性を持つことが示された。
論文 参考訳(メタデータ) (2022-07-24T12:14:48Z) - Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。
本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文 参考訳(メタデータ) (2022-03-23T12:52:49Z) - Deep Representational Similarity Learning for analyzing neural
signatures in task-based fMRI dataset [81.02949933048332]
本稿では、表現類似度分析(RSA)の深部拡張であるDRSL(Deep Representational similarity Learning)を開発する。
DRSLは、多数の被験者を持つfMRIデータセットにおける様々な認知タスク間の類似性を分析するのに適している。
論文 参考訳(メタデータ) (2020-09-28T18:30:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。