論文の概要: Comparing Linear Probes with Mahalanobis Cosine Similarity

• arxiv url: http://arxiv.org/abs/2606.19603v1
• Date: Wed, 17 Jun 2026 21:15:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.545999
• Title: Comparing Linear Probes with Mahalanobis Cosine Similarity
• Title（参考訳）: マハラノビスコサイン類似度と線形プローブの比較
• Authors: Zhuofan Josh Ying, Peter Hase, Nikolaus Kriegeskorte,
• Abstract要約: マハラノビスコサイン類似性(Mahalanobis cosine similarity、MCS)は、自然なタスク認識の改良である。 MCSは、線形プローブを比較するためにユークリッドのコサイン類似性に理論的に基礎を置き、実験的に有効な代替手段を提供する。
• 参考スコア（独自算出の注目度）: 16.01374321349546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear probes are widely used in interpretability research and often compared by cosine similarity. The Mahalanobis cosine similarity (MCS) between two directions, which reweights the inner product by test data covariance, is a natural task-aware refinement. Ying et al. (2026) report that a probe's MCS to a reference probe trained on the out-of-distribution (OOD) data near-perfectly linearly predicts the probe's OOD AUROC (R^2 = 0.98). Here, we extend this empirical finding across models, layers, and concept domains, and prove this general phenomenon in closed form: For balanced classes whose projections are Gaussian, OOD AUROC and MCS to the reference probe are linear because both are sigmoid-shaped functions of the probe's signal-to-noise ratio (SNR) on the test data. The theory also predicts when this linearity fails, which we verify empirically. MCS offers a theoretically grounded and empirically effective alternative to Euclidean cosine similarity for comparing linear probes.
• Abstract（参考訳）: 線形プローブは解釈可能性の研究に広く使われ、しばしばコサイン類似性によって比較される。 マハラノビスコサイン類似性(英: Mahalanobis cosine similarity、MCS)は、テストデータ共分散によって内部積を重み付けする2つの方向のコサイン類似性(英語版)である。 Ying et al (2026) は、OOD AUROC (R^2 = 0.98) をほぼ完全に線形に予測している。 ここでは、モデル、層、概念領域にまたがってこの経験的発見を拡張し、この一般的な現象を閉じた形で証明する: ガウス、OOD AUROC、MCSを基準プローブに投影する平衡クラスは、どちらも試験データ上のプローブの信号-雑音比(SNR)のシグモイド型関数であるため、線形である。 この理論はまた、この線形性がいつ失敗するかを予測し、それを経験的に検証する。 MCSは、線形プローブを比較するためにユークリッドのコサイン類似性に理論的に基礎を置き、実験的に有効な代替手段を提供する。

関連論文リスト

• Bridging the Simulation-to-Experiment Gap with Generative Models using Adversarial Distribution Alignment [51.246114581338865]
  科学と工学における根本的な課題は、シミュレーションと実験のギャップである。 このギャップを埋めるデータ駆動型分散アライメントフレームワークを提案する。 本手法は,複数個の相関した観測可能値であっても,対象の観測可能分布を復元できることを実証する。
  論文  参考訳（メタデータ） (2026-04-01T17:21:33Z)
• Topological Residual Asymmetry for Bivariate Causal Direction [1.2691047660244335]
  トポロジカル残留非対称性(英: Topological Residual Asymmetric)は、加法ノイズモデルに対する幾何学的基準である。 0D持続ホモロジー関数を用いてバルクチューブコントラストの定量化を行う。 多くの挑戦的な合成および実データシナリオに対する実験は、メソッドの優越性を実証している。
  論文  参考訳（メタデータ） (2026-01-31T00:38:53Z)
• Bayesian Circular Regression with von Mises Quasi-Processes [57.88921637944379]
  本研究では、円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 後部推論のために,高速ギブズサンプリングに寄与するストラトノビッチ様拡張法を導入する。 本研究では,このモデルを用いて風向予測と走行歩行周期のパーセンテージを関節角度の関数として適用する実験を行った。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Is Cosine-Similarity of Embeddings Really About Similarity? [46.75365717794515]
  コサイン相似性(Cosine-similarity)は、2つのベクトル間の角度のコサイン、すなわちそれらの正規化の間のドット積である。 正規化線形モデルから導かれる埋め込みについて検討し、そこでは閉形式解が解析的洞察を促進する。 我々はコサイン相似性が任意の、したがって無意味な類似性をもたらすか分析的に導出する」。
  論文  参考訳（メタデータ） (2024-03-08T16:48:20Z)
• Unbalanced CO-Optimal Transport [16.9451175221198]
  Co-Optimal Transport (COOT)は、特徴間のアライメントを推論することで、この比較をさらに進める。 実世界のデータに一様に表される外れ値に敏感であることを示す。 これにより、ノイズに対するロバスト性を確実に示す不均衡なCOOTを提案することができる。
  論文  参考訳（メタデータ） (2022-05-30T08:43:19Z)
• Learning Generative Prior with Latent Space Sparsity Constraints [25.213673771175692]
  自然像の分布は1つの多様体にではなく、むしろいくつかの部分多様体の結合にあると論じられている。 本稿では,スペーサ性駆動型潜時空間サンプリング(SDLSS)フレームワークを提案し,PMLアルゴリズムを用いて潜時空間のスペーサ性を実現する。 その結果, SDLSS法は, 高次圧縮では最先端法よりも効率が高いことがわかった。
  論文  参考訳（メタデータ） (2021-05-25T14:12:04Z)
• Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
  生成ガウス混合モデルに基づく二項線形分類について検討する。 後者の分類誤差に関する新しい非漸近境界を導出する。 この結果は, 確率が一定である雑音モデルに拡張される。
  論文  参考訳（メタデータ） (2020-11-18T07:59:55Z)
• Robust Compressed Sensing using Generative Models [98.64228459705859]
  本稿では,Median-of-Means (MOM) にヒントを得たアルゴリズムを提案する。 我々のアルゴリズムは、外れ値が存在する場合でも、重み付きデータの回復を保証する。
  論文  参考訳（メタデータ） (2020-06-16T19:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。