論文の概要: From Layers to Networks: Comparing Neural Representations via Diffusion Geometry

• arxiv url: http://arxiv.org/abs/2605.15901v1
• Date: Fri, 15 May 2026 12:40:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.281408
• Title: From Layers to Networks: Comparing Neural Representations via Diffusion Geometry
• Title（参考訳）: 層からネットワークへ:拡散幾何学によるニューラル表現の比較
• Authors: Atharva Khandait, Jan E. Gerken,
• Abstract要約: 拡散幾何学を神経表現に用い,多視点学習のツールをこの分野に初めて取り入れた。 我々はReSi(Representational similarity)ベンチマークを用いて,大規模な数値実験を行った。 提案手法は,異なるモデル間での言語タスクと視覚タスクの精度と出力相関を実現する。
• 参考スコア（独自算出の注目度）: 3.6731536660959985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion geometry is a manifold learning framework that uses random walks defined by Markov transition matrices to characterize the geometry of a dataset at multiple scales. We use diffusion geometry for neural representations, incorporating tools from multi-view learning into this field for the first time. Our key technical observation is that a broad class of similarity measures based on representational similarity matrices (RSMs) admits a closed-form equivalent formulation in terms of row-stochastic Markov matrices, opening the door to manipulations from diffusion geometry. As a first application, we develop multi-scale variants of Centered Kernel Alignment and Distance Correlation, which utilise the $t^{th}$ power of the underlying transition matrix to probe the data geometry at adjustable diffusion scales. Going further, we introduce variants of these measures which fuse the Markov matrices of several layers via alternating diffusion into a single operator that captures the network's joint sample geometry, allowing similarity to be computed across multiple layers and shifting the comparison from layer-to-layer to network-to-network. We perform extensive numerical experiments, evaluating our measures on the Representational Similarity (ReSi) benchmark comprising 14 architectures trained on 7 datasets across three different domains. Our methods achieve SoTA results in accuracy and output correlation for both language and vision tasks across different models. We furthermore show SoTA performance on an additional benchmark evaluating on out-of-distribution data.
• Abstract（参考訳）: 拡散幾何学は、マルコフ遷移行列によって定義されたランダムウォークを用いて、複数のスケールでデータセットの幾何学を特徴づける多様体学習フレームワークである。 拡散幾何学を神経表現に用い,多視点学習のツールをこの分野に初めて取り入れた。 我々の重要な技術的観察は、表現類似度行列(RSMs)に基づく幅広い類似度尺度は、行確率マルコフ行列の観点から閉形式の等価な定式化を認め、拡散幾何学からの操作の扉を開くことである。 最初の応用として、基底となる遷移行列の$t^{th}$パワーを利用して、調整可能な拡散スケールでデータ幾何学を探索するCentered Kernel Alignment and Distance correlationのマルチスケール変種を開発する。 さらに,複数の層のマルコフ行列を1つの演算子に交互に拡散させ,ネットワークの結合サンプル形状を捉えることで,複数の層にまたがって類似性を計算し,層間比較をネットワーク間ネットワークへ移行させることによって,これらの測定方法の変種を導入する。 3つの異なる領域にわたる7つのデータセットでトレーニングされた14のアーキテクチャからなるReSi(Representational similarity)ベンチマークの評価を行った。 提案手法は,異なるモデル間での言語タスクと視覚タスクの精度と出力相関を実現する。 さらに,SoTAの性能を,アウト・オブ・ディストリビューションデータに基づく追加ベンチマークで評価する。

関連論文リスト

• Tabular data generation with tensor contraction layers and transformers [0.35998666903987897]
  テンソル縮退層と変圧器を用いて,データ生成に埋め込み表現を用いることの可能性を検討する。 OpenML CC18スイートの複数のデータセットを対象に実施した実証的研究では,密度推定モデルと機械学習効率指標を比較した。 この結果から得られた主な特徴は、テンソル収縮層の助けを借りて埋め込み表現を利用することで密度推定の指標が向上するが、機械学習効率の観点からは競合性能は維持できるということである。
  論文  参考訳（メタデータ） (2024-12-06T19:34:13Z)
• Symmetry Discovery for Different Data Types [52.2614860099811]
  等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。 本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。 我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
  論文  参考訳（メタデータ） (2024-10-13T13:39:39Z)
• The geometry of hidden representations of large transformer models [43.16765170255552]
  大規模トランスは、さまざまなデータタイプをまたいだ自己教師型データ分析に使用される強力なアーキテクチャである。 データセットのセマンティック構造は、ある表現と次の表現の間の変換のシーケンスから現れることを示す。 本研究は,データセットのセマンティクス情報が第1ピークの終わりによりよく表現されることを示し,この現象を多種多様なデータセットで訓練された多くのモデルで観測できることを示した。
  論文  参考訳（メタデータ） (2023-02-01T07:50:26Z)
• Geometric Scattering on Measure Spaces [15.819230791757906]
  測度空間上での幾何散乱の一般統一モデルを導入する。 未知多様体をランダムにサンプリングして得られる有限測度空間を考える。 本稿では, 関連するグラフ散乱変換が基礎多様体上の散乱変換を近似するデータ駆動グラフを構築するための2つの方法を提案する。
  論文  参考訳（メタデータ） (2022-08-17T22:40:09Z)
• Manifold Topology Divergence: a Framework for Comparing Data Manifolds [109.0784952256104]
  本研究では,深部生成モデルの評価を目的としたデータ多様体の比較フレームワークを開発する。 クロスバーコードに基づき,manifold Topology Divergence score(MTop-Divergence)を導入する。 MTop-Divergenceは,様々なモードドロップ,モード内崩壊,モード発明,画像乱れを正確に検出する。
  論文  参考訳（メタデータ） (2021-06-08T00:30:43Z)
• TSGCNet: Discriminative Geometric Feature Learning with Two-Stream GraphConvolutional Network for 3D Dental Model Segmentation [141.2690520327948]
  2流グラフ畳み込みネットワーク(TSGCNet)を提案し、異なる幾何学的特性から多視点情報を学ぶ。 3次元口腔内スキャナーで得られた歯科モデルのリアルタイムデータセットを用いてTSGCNetの評価を行った。
  論文  参考訳（メタデータ） (2020-12-26T08:02:56Z)
• Primal-Dual Mesh Convolutional Neural Networks [62.165239866312334]
  本稿では,グラフ・ニューラル・ネットワークの文献からトライアングル・メッシュへ引き起こされた原始双対のフレームワークを提案する。 提案手法は,3次元メッシュのエッジと顔の両方を入力として特徴付け,動的に集約する。 メッシュ単純化の文献から得られたツールを用いて、我々のアプローチに関する理論的知見を提供する。
  論文  参考訳（メタデータ） (2020-10-23T14:49:02Z)
• Semantic Change Detection with Asymmetric Siamese Networks [71.28665116793138]
  2つの空中画像が与えられた場合、セマンティックチェンジ検出は、土地被覆のバリエーションを特定し、それらの変化タイプをピクセルワイド境界で識別することを目的としている。 この問題は、正確な都市計画や天然資源管理など、多くの地球ビジョンに関連するタスクにおいて不可欠である。 本研究では, 広く異なる構造を持つモジュールから得られた特徴対を用いて意味変化を同定し, 同定するための非対称システマネットワーク(ASN)を提案する。
  論文  参考訳（メタデータ） (2020-10-12T13:26:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。