論文の概要: Correcting Biased Centered Kernel Alignment Measures in Biological and Artificial Neural Networks
- arxiv url: http://arxiv.org/abs/2405.01012v1
- Date: Thu, 2 May 2024 05:27:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-03 17:43:16.643626
- Title: Correcting Biased Centered Kernel Alignment Measures in Biological and Artificial Neural Networks
- Title（参考訳）: 生体・人工ニューラルネットワークにおけるバイアス中心カーネルアライメント対策の補正
- Authors: Alex Murphy, Joel Zylberberg, Alona Fyshe,
- Abstract要約: Centred Kernel Alignment (CKA)は、生物と人工ニューラルネットワーク(ANN)のアクティベーションを比較するための一般的な指標として最近登場した。
本稿では,ニューラルネットワークのアライメント指標としてCKAを使用する場合,コミュニティが考慮すべき課題について述べる。
- 参考スコア（独自算出の注目度）: 4.437949196235149
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Centred Kernel Alignment (CKA) has recently emerged as a popular metric to compare activations from biological and artificial neural networks (ANNs) in order to quantify the alignment between internal representations derived from stimuli sets (e.g. images, text, video) that are presented to both systems. In this paper we highlight issues that the community should take into account if using CKA as an alignment metric with neural data. Neural data are in the low-data high-dimensionality domain, which is one of the cases where (biased) CKA results in high similarity scores even for pairs of random matrices. Using fMRI and MEG data from the THINGS project, we show that if biased CKA is applied to representations of different sizes in the low-data high-dimensionality domain, they are not directly comparable due to biased CKA's sensitivity to differing feature-sample ratios and not stimuli-driven responses. This situation can arise both when comparing a pre-selected area of interest (e.g. ROI) to multiple ANN layers, as well as when determining to which ANN layer multiple regions of interest (ROIs) / sensor groups of different dimensionality are most similar. We show that biased CKA can be artificially driven to its maximum value when using independent random data of different sample-feature ratios. We further show that shuffling sample-feature pairs of real neural data does not drastically alter biased CKA similarity in comparison to unshuffled data, indicating an undesirable lack of sensitivity to stimuli-driven neural responses. Positive alignment of true stimuli-driven responses is only achieved by using debiased CKA. Lastly, we report findings that suggest biased CKA is sensitive to the inherent structure of neural data, only differing from shuffled data when debiased CKA detects stimuli-driven alignment.
- Abstract（参考訳）: Centred Kernel Alignment (CKA)は、最近、両方のシステムに提示される刺激セット(例えば、画像、テキスト、ビデオ)から導かれる内部表現のアライメントを定量化するために、生物と人工ニューラルネットワーク(ANN)からのアクティベーションを比較するための一般的な指標として登場した。
本稿では,ニューラルネットワークのアライメント指標としてCKAを使用する場合,コミュニティが考慮すべき課題について述べる。
ニューラルネットワークは低データ高次元領域に属するが、これは(バイアス付き)CKAがランダム行列のペアであっても高い類似度スコアをもたらす場合の1つである。
THINGSプロジェクトのfMRIおよびMEGデータを用いて、低データ高次元領域における異なる大きさの表現に偏りCKAを適用した場合、偏りCKAが特徴サンプル比の差に敏感であり、刺激駆動応答ではないため、直接的に比較できないことを示す。
この状況は、あらかじめ選択された関心領域(例えばROI)を複数のANN層と比較する場合と、異なる次元のセンサ群がどのANN層に複数の関心領域(ROI)を配置するかを決定する場合に起こる。
サンプル-特徴比の異なる独立ランダムデータを使用する場合, バイアス付きCKAは最大値に人工的に駆動可能であることを示す。
さらに、実際のニューラルネットワークのサンプル-機能ペアのシャッフルは、未シャッフルデータと比較して、バイアス付きCKA類似性を劇的に変化させることはないことを示し、刺激駆動型ニューラルレスポンスに対する好ましくない感度の欠如を示している。
真の刺激駆動応答の正のアライメントは、脱バイアスCKAを用いてのみ達成される。
最後に、偏りのあるCKAが神経データ固有の構造に敏感であることを示し、偏りのあるCKAが刺激によるアライメントを検出するときのみシャッフルデータと異なることを報告した。
関連論文リスト
- Differentiable Optimization of Similarity Scores Between Models and Brains [1.5391321019692434]
線形回帰、CKA(Centered Kernel Alignment)、正規化バーレス類似度(NBS)、角状プロクリスト距離といった類似度は、この類似度を定量化するためにしばしば用いられる。
本稿では、類似度の高いスコアと「良い」スコアを構成するスコアについて調査する新しいツールについて紹介する。
驚くべきことに、高い類似度スコアは、ニューラルデータと整合した方法でタスク関連情報を符号化することを保証していない。
論文 参考訳（メタデータ） (2024-07-09T17:31:47Z) - Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。
また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
論文 参考訳（メタデータ） (2023-08-28T12:55:13Z) - Continuous time recurrent neural networks: overview and application to
forecasting blood glucose in the intensive care unit [56.801856519460465]
連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。
重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
論文 参考訳（メタデータ） (2023-04-14T09:39:06Z) - Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。
特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文 参考訳（メタデータ） (2023-04-04T17:54:32Z) - Linking convolutional kernel size to generalization bias in face
analysis CNNs [9.030335233143603]
本稿では,アーキテクチャ上のハイパーパラメータとアウト・オブ・ディストリビューションアルゴリズムのバイアスを関連付けるための因果的枠組みを提案する。
本実験では,畳み込みカーネルサイズと顔解析の分類バイアスの因果関係の測定に焦点をあてた。
CNNの1層であっても、カーネルサイズを変更することで、学習した特徴の周波数内容がデータサブグループ間で著しく変化することを示す。
論文 参考訳（メタデータ） (2023-02-07T20:55:09Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - Interpreting Bias in the Neural Networks: A Peek Into Representational
Similarity [0.0]
偏りのあるデータに基づいて学習した畳み込み型ニューラルネットワークの性能と内部表現構造について検討する。
目的関数にCKA(Centered Kernel Alignment)を用いて,表現の類似性について検討する。
ニューラルネットワークの層間のプログレッシブな表現的類似性がなければ、その性能はロバストになりそうにない。
論文 参考訳（メタデータ） (2022-11-14T22:17:14Z) - Reliability of CKA as a Similarity Measure in Deep Learning [17.555458413538233]
我々はCKA感度を多種多様な単純な変換に特徴付ける分析を行う。
CKA類似度測定のいくつかの弱点について検討し、予期せぬ結果や反直感的な結果をもたらす状況を示す。
以上の結果から,CKAの値はモデルの機能的振る舞いにかなりの変化を伴わずに容易に操作できることが示唆された。
論文 参考訳（メタデータ） (2022-10-28T14:32:52Z) - Shift Invariance Can Reduce Adversarial Robustness [20.199887291186364]
シフト不変性は、分類のパフォーマンスを向上させるCNNの重要な特性です。
円偏移に対する不変性は、敵の攻撃に対する感受性を高めることも示している。
論文 参考訳（メタデータ） (2021-03-03T21:27:56Z) - Decorrelated Clustering with Data Selection Bias [55.91842043124102]
本稿では,データ選択バイアスを伴うクラスタリングのためのデコリレーション正規化K-Meansアルゴリズム(DCKM)を提案する。
DCKMアルゴリズムは,選択バイアスによって生じる予期せぬ特徴相関を除去する必要があることを示す。
論文 参考訳（メタデータ） (2020-06-29T08:55:50Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳（メタデータ） (2020-06-11T17:29:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。