論文の概要: Reliability of CKA as a Similarity Measure in Deep Learning
- arxiv url: http://arxiv.org/abs/2210.16156v1
- Date: Fri, 28 Oct 2022 14:32:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 15:14:35.168440
- Title: Reliability of CKA as a Similarity Measure in Deep Learning
- Title（参考訳）: 深層学習における類似度尺度としてのCKAの信頼性
- Authors: MohammadReza Davari, Stefan Horoi, Amine Natik, Guillaume Lajoie, Guy
Wolf, Eugene Belilovsky
- Abstract要約: 我々はCKA感度を多種多様な単純な変換に特徴付ける分析を行う。
CKA類似度測定のいくつかの弱点について検討し、予期せぬ結果や反直感的な結果をもたらす状況を示す。
以上の結果から,CKAの値はモデルの機能的振る舞いにかなりの変化を伴わずに容易に操作できることが示唆された。
- 参考スコア（独自算出の注目度）: 17.555458413538233
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Comparing learned neural representations in neural networks is a challenging
but important problem, which has been approached in different ways. The
Centered Kernel Alignment (CKA) similarity metric, particularly its linear
variant, has recently become a popular approach and has been widely used to
compare representations of a network's different layers, of architecturally
similar networks trained differently, or of models with different architectures
trained on the same data. A wide variety of conclusions about similarity and
dissimilarity of these various representations have been made using CKA. In
this work we present analysis that formally characterizes CKA sensitivity to a
large class of simple transformations, which can naturally occur in the context
of modern machine learning. This provides a concrete explanation of CKA
sensitivity to outliers, which has been observed in past works, and to
transformations that preserve the linear separability of the data, an important
generalization attribute. We empirically investigate several weaknesses of the
CKA similarity metric, demonstrating situations in which it gives unexpected or
counter-intuitive results. Finally we study approaches for modifying
representations to maintain functional behaviour while changing the CKA value.
Our results illustrate that, in many cases, the CKA value can be easily
manipulated without substantial changes to the functional behaviour of the
models, and call for caution when leveraging activation alignment metrics.
- Abstract（参考訳）: ニューラルネットワークで学習した神経表現を比較することは難しいが重要な問題であり、異なる方法でアプローチされてきた。
Centered Kernel Alignment (CKA) 類似度測定(英語版)は、最近一般的なアプローチとなり、ネットワークの異なるレイヤの表現、アーキテクチャ的に類似したネットワークの異なるトレーニング、または同じデータで訓練された異なるアーキテクチャのモデルの比較に広く用いられている。
これらの様々な表現の類似性と相似性に関する様々な結論がCKAを用いてなされている。
本研究では,CKAの感度を,現代の機械学習の文脈で自然に発生するような,多種多様な単純な変換に形式的に特徴付ける分析を行う。
これは、過去の研究で観測された外れ値に対するCKA感度、および重要な一般化属性であるデータの線形分離性を保存する変換に対する具体的な説明を提供する。
CKA類似度測定のいくつかの弱点を実証的に検討し、予期せぬ結果や反直感的な結果をもたらす状況を示す。
最後に,cka値を変更しながら機能的動作を維持するために表現を変更する手法について検討する。
以上の結果から,CKAの値はモデルの機能的振る舞いに大きな変化を伴わずに容易に操作でき,アクティベーションアライメントの指標を活用する際には注意が必要であることが示唆された。
関連論文リスト
- Differentiable Optimization of Similarity Scores Between Models and Brains [1.5391321019692434]
線形回帰、CKA(Centered Kernel Alignment)、正規化バーレス類似度(NBS)、角状プロクリスト距離といった類似度は、この類似度を定量化するためにしばしば用いられる。
本稿では、類似度の高いスコアと「良い」スコアを構成するスコアについて調査する新しいツールについて紹介する。
驚くべきことに、高い類似度スコアは、ニューラルデータと整合した方法でタスク関連情報を符号化することを保証していない。
論文 参考訳（メタデータ） (2024-07-09T17:31:47Z) - Correcting Biased Centered Kernel Alignment Measures in Biological and Artificial Neural Networks [4.437949196235149]
Centred Kernel Alignment (CKA)は、生物と人工ニューラルネットワーク(ANN)のアクティベーションを比較するための一般的な指標として最近登場した。
本稿では,ニューラルネットワークのアライメント指標としてCKAを使用する場合,コミュニティが考慮すべき課題について述べる。
論文 参考訳（メタデータ） (2024-05-02T05:27:12Z) - Towards out-of-distribution generalization in large-scale astronomical
surveys: robust networks learn similar representations [3.653721769378018]
ニューラルネットワーク表現の類似度尺度である Centered Kernel Alignment (CKA) を用いて、表現類似度と性能の関係について検討する。
モデルが分散シフトに対して堅牢である場合、OODデータ上に層間でかなり異なる表現を生成することが分かりました。
本稿では,CKAを誘導バイアスとして取り入れることで,モデル設計,トレーニング戦略,OOD問題を緩和する上での類似性表現の可能性について論じる。
論文 参考訳（メタデータ） (2023-11-29T19:00:05Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳（メタデータ） (2022-11-11T21:58:15Z) - On the Versatile Uses of Partial Distance Correlation in Deep Learning [47.11577420740119]
本稿では、異なる次元の特徴空間間の相関を評価するために設計された距離相関(および部分変量)と呼ばれる統計学から(広く知られていない)再検討する。
本稿では,大規模モデルへの展開に必要なステップについて述べる。
これは、ある深いモデルw.r.t.を条件付けすること、非絡み合った表現を学習すること、および敵の攻撃に対してより堅牢な多様なモデルを最適化することなど、驚くべき一連のアプリケーションへの扉を開く。
論文 参考訳（メタデータ） (2022-07-20T06:36:11Z) - Invariant Causal Mechanisms through Distribution Matching [86.07327840293894]
本研究では、因果的視点と不変表現を学習するための新しいアルゴリズムを提供する。
実験により,このアルゴリズムは様々なタスク群でうまく動作し,特にドメインの一般化における最先端のパフォーマンスを観察する。
論文 参考訳（メタデータ） (2022-06-23T12:06:54Z) - Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。
本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文 参考訳（メタデータ） (2022-03-23T12:52:49Z) - Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。
提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。
実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-03-16T16:14:19Z) - Grounding Representation Similarity with Statistical Testing [8.296135566684065]
我々は,機能的行動に影響を与える変化や,そうでない変化に対する特異性に対して,尺度は敏感であるべきだと論じる。
我々は、分布シフトの正確性や堅牢性など、様々な機能的挙動を通じてこれを定量化する。
現在のメトリクスはさまざまな弱点を示しており、古典的なベースラインが驚くほどうまく機能していることに気付き、すべてのメトリクスが失敗しているように見える設定を強調しています。
論文 参考訳（メタデータ） (2021-08-03T17:58:16Z) - ECINN: Efficient Counterfactuals from Invertible Neural Networks [80.94500245955591]
本稿では, 画像分類における可逆ニューラルネットワークの生成能力を利用して, 対実例を効率的に生成する手法ECINNを提案する。
ECINNはクローズドフォーム表現を持ち、たった2つの評価の時点で反事実を生成する。
私たちの実験では、ECINNがクラス依存イメージ領域を変更して、反現実の知覚的および予測的クラスを変更する方法を示す。
論文 参考訳（メタデータ） (2021-03-25T09:23:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。