論文の概要: The Triangle of Similarity: A Multi-Faceted Framework for Comparing Neural Network Representations

• arxiv url: http://arxiv.org/abs/2601.17093v1
• Date: Fri, 23 Jan 2026 12:15:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:07.225242
• Title: The Triangle of Similarity: A Multi-Faceted Framework for Comparing Neural Network Representations
• Title（参考訳）: 類似性の三角形:ニューラルネットワーク表現の比較のための多面的フレームワーク
• Authors: Olha Sirikova, Alvin Chan,
• Abstract要約: 3つの相補的な視点を組み合わせたフレームワークであるTriangle of similarityを提案する。 アーキテクチャファミリは、表現的類似性の主要な決定要因であり、異なるクラスタを形成します。 いくつかのモデルペアでは、プルーニングは表現を正規化し、共有計算コアを公開する。
• 参考スコア（独自算出の注目度）: 5.415604247164019
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Comparing neural network representations is essential for understanding and validating models in scientific applications. Existing methods, however, often provide a limited view. We propose the Triangle of Similarity, a framework that combines three complementary perspectives: static representational similarity (CKA/Procrustes), functional similarity (Linear Mode Connectivity or Predictive Similarity), and sparsity similarity (robustness under pruning). Analyzing a range of CNNs, Vision Transformers, and Vision-Language Models using both in-distribution (ImageNetV2) and out-of-distribution (CIFAR-10) testbeds, our initial findings suggest that: (1) architectural family is a primary determinant of representational similarity, forming distinct clusters; (2) CKA self-similarity and task accuracy are strongly correlated during pruning, though accuracy often degrades more sharply; and (3) for some model pairs, pruning appears to regularize representations, exposing a shared computational core. This framework offers a more holistic approach for assessing whether models have converged on similar internal mechanisms, providing a useful tool for model selection and analysis in scientific research.
• Abstract（参考訳）: ニューラルネットワークの表現を比較することは、科学的応用におけるモデルの理解と検証に不可欠である。 しかし、既存の方法は、しばしば限定的なビューを提供する。 静的表現的類似性(CKA/Procrustes)、機能的類似性(Linear Mode Connectivity)、予測的類似性(Predictive similarity)の3つの相補的な視点を組み合わせた「類似の三角形」を提案する。 In-distriion (ImageNetV2) と Out-of-distriion (CIFAR-10) の両方を用いたCNN, Vision Transformers, Vision-Language Models の範囲を分析すると,(1) アーキテクチャファミリは表現類似性の主要な決定要因であり,異なるクラスタを形成すること,(2) CKA の自己相似性とタスク精度はプルーニング中に強く相関するが,精度は急激に低下することが多いこと,(3) プルーニングは表現を正規化し,共有計算コアを公開すること,などが示唆された。 このフレームワークは、モデルが同様の内部メカニズムに収束したかどうかを評価するためのより包括的なアプローチを提供し、科学研究におけるモデル選択と分析のための有用なツールを提供する。

関連論文リスト

• Objective drives the consistency of representational similarity across datasets [19.99817888941361]
  本稿では,モデル間の表現的類似度が,表現を構成するために使用される刺激の集合によってどのように変化するかを測定するための体系的手法を提案する。 自己教師付き視覚モデルは、相対的なペアの類似性が、あるデータセットから別のデータセットへより良く一般化する表現を学ぶ。 我々の研究は、データセット間のモデル表現の類似性を分析し、それらの類似性とタスクの振る舞いの違いを関連付けるためのフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-11-08T13:35:45Z)
• Tracing Representation Progression: Analyzing and Enhancing Layer-Wise Similarity [20.17288970927518]
  本研究では,各変圧器の隠蔽層間の表現の類似性について検討する。 層間の表現が正の相関を示し、層が近づくと類似度が増加する。 浅い層の有効性を向上させるためのアライメント・トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T16:41:09Z)
• Explicit Correspondence Matching for Generalizable Neural Radiance Fields [66.99907718824782]
  本稿では,新たな未知のシナリオに一般化し,2つのソースビューで新規なビュー合成を行う新しいNeRF手法を提案する。 明瞭な対応マッチングは、異なるビュー上の3Dポイントの2次元投影でサンプリングされた画像特徴間のコサイン類似度と定量化される。 実験では,実験結果から得られたコサイン特徴の類似性と体積密度との間に強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-04-24T17:46:01Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Counting Like Human: Anthropoid Crowd Counting on Modeling the Similarity of Objects [92.80955339180119]
  メインストリームの群衆計数法は 密度マップを補強して 計数結果を得るために統合する。 これに触発された我々は,合理的かつ人為的な集団カウントフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-02T07:00:53Z)
• Similarity of Neural Architectures using Adversarial Attack Transferability [47.66096554602005]
  ニューラルネットワーク間の定量的かつスケーラブルな類似度尺度を設計する。 我々は69の最先端画像ネット分類器を大規模に解析する。 我々の結果は、異なるコンポーネントを持つ多様なニューラルアーキテクチャの開発がなぜ必要かについての洞察を提供する。
  論文  参考訳（メタデータ） (2022-10-20T16:56:47Z)
• Duality-Induced Regularizer for Semantic Matching Knowledge Graph Embeddings [70.390286614242]
  本稿では, 類似のセマンティクスを持つエンティティの埋め込みを効果的に促進する新しい正規化器(duality-induced RegulArizer (DURA))を提案する。 実験により、DURAは、最先端のセマンティックマッチングモデルの性能を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2022-03-24T09:24:39Z)
• A Bootstrap-based Method for Testing Network Similarity [0.0]
  本稿では,一致したネットワーク推論問題について検討する。 目的は、共通のノードセットで定義された2つのネットワークが、特定の類似性を示すかどうかを決定することである。 類似性の2つの概念は、 (i) 等価性、すなわち、ネットワークが同じランダムグラフモデルから生じるかどうかをテストすること、 (ii) スケーリング、すなわち、それらの確率が未知のスケーリング定数に対して比例するかどうかをテストすることである。
  論文  参考訳（メタデータ） (2019-11-15T20:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。