論文の概要: Representational Alignment Across Model Layers and Brain Regions with Hierarchical Optimal Transport

• arxiv url: http://arxiv.org/abs/2510.01706v1
• Date: Thu, 02 Oct 2025 06:25:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:21.023763
• Title: Representational Alignment Across Model Layers and Brain Regions with Hierarchical Optimal Transport
• Title（参考訳）: 階層的最適輸送を伴うモデル層と脳領域間の表現的アライメント
• Authors: Shaan Shah, Meenakshi Khosla,
• Abstract要約: 本稿では,ソフトで一貫した層間結合とニューロンレベルの輸送計画を推定する統合フレームワークを提案する。 我々は、視覚モデル、大言語モデル、人間の視覚野の記録に基づいてHOTを評価する。
• 参考スコア（独自算出の注目度）: 2.4636535146231613
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard representational similarity methods align each layer of a network to its best match in another independently, producing asymmetric results, lacking a global alignment score, and struggling with networks of different depths. These limitations arise from ignoring global activation structure and restricting mappings to rigid one-to-one layer correspondences. We propose Hierarchical Optimal Transport (HOT), a unified framework that jointly infers soft, globally consistent layer-to-layer couplings and neuron-level transport plans. HOT allows source neurons to distribute mass across multiple target layers while minimizing total transport cost under marginal constraints. This yields both a single alignment score for the entire network comparison and a soft transport plan that naturally handles depth mismatches through mass distribution. We evaluate HOT on vision models, large language models, and human visual cortex recordings. Across all domains, HOT matches or surpasses standard pairwise matching in alignment quality. Moreover, it reveals smooth, fine-grained hierarchical correspondences: early layers map to early layers, deeper layers maintain relative positions, and depth mismatches are resolved by distributing representations across multiple layers. These structured patterns emerge naturally from global optimization without being imposed, yet are absent in greedy layer-wise methods. HOT thus enables richer, more interpretable comparisons between representations, particularly when networks differ in architecture or depth.
• Abstract（参考訳）: 標準的な表現的類似性法は、ネットワークの各層を他の層と独立に一致させ、非対称な結果を生成し、大域的なアライメントスコアを欠き、異なる深さのネットワークに苦しむ。 これらの制限は、グローバルな活性化構造を無視し、厳密な1対1層対応へのマッピングを制限することから生じる。 階層型最適輸送(HOT)は,ソフトで一貫した層間結合とニューロンレベルの輸送計画を共同で推論する統合フレームワークである。 HOTはソースニューロンを複数のターゲット層に分散させ、総輸送コストを限界制約下で最小化する。 これにより、ネットワーク比較全体に対する単一のアライメントスコアと、質量分布による深度ミスマッチを自然に処理するソフトトランスポートプランの両方が得られる。 我々は、視覚モデル、大言語モデル、人間の視覚野の記録に基づいてHOTを評価する。 すべてのドメインにまたがって、HOTはアライメント品質において標準のペアワイズマッチングにマッチするか、超えます。 さらに、初期のレイヤは初期のレイヤにマップされ、深いレイヤは相対的な位置を維持し、深さのミスマッチは複数のレイヤにまたがって表現を分散することで解決される。 これらの構造化されたパターンは、強制されることなく、自然にグローバルな最適化から現れます。 したがって、HOTはアーキテクチャや深さの異なるネットワークにおいて、表現間のよりリッチで解釈可能な比較を可能にする。

関連論文リスト

• Perfect Clustering in Very Sparse Diverse Multiplex Networks [4.070200285321219]
  逆多重多重符号一般化ランダムドット製品グラフ(DIMPLE-SGRDPG)ネットワークモデル(Pensky (2024))について検討する。 すべての層は、同じグループの層が同じ周囲部分空間に埋め込まれるようにグループに分割することができる。 このモデルの主要なタスクは、ユニークな部分空間構造を持つレイヤのグループを復元することである。
  論文  参考訳（メタデータ） (2025-07-25T16:43:42Z)
• Towards Optimal Customized Architecture for Heterogeneous Federated Learning with Contrastive Cloud-Edge Model Decoupling [20.593232086762665]
  フェデレートラーニングは、有望な分散学習パラダイムとして、中央データ収集を必要とせずに、複数のネットワークエッジクライアントにわたるグローバルモデルの協調トレーニングを可能にする。 我々はFedCMDと呼ばれる新しいフェデレーション学習フレームワークを提案する。 私たちのモチベーションは、パーソナライズされた頭として異なるニューラルネットワーク層を選択するパフォーマンスを深く調査することで、現在の研究でパーソナライズされた頭として最後の層を厳格に割り当てることが常に最適であるとは限らない、ということです。
  論文  参考訳（メタデータ） (2024-03-04T05:10:28Z)
• Hierarchical Multi-Marginal Optimal Transport for Network Alignment [52.206006379563306]
  マルチネットワークアライメントは,複数ネットワーク上での協調学習に必須の要件である。 マルチネットワークアライメントのための階層型マルチマージ最適トランスポートフレームワークHOTを提案する。 提案するHOTは,有効性とスケーラビリティの両面で,最先端の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-10-06T02:35:35Z)
• Federated Deep Equilibrium Learning: Harnessing Compact Global Representations to Enhance Personalization [23.340237814344377]
  Federated Learning(FL)は、クライアントがデータを交換することなくグローバルモデルを協調的にトレーニングできる、画期的な分散学習パラダイムとして登場した。 FeDEQは,高効率なパーソナライズのために,コンパクトなグローバルデータ表現を利用するために,深い平衡学習とコンセンサス最適化を取り入れた新しいFLフレームワークである。 FeDEQは,訓練中の通信サイズを最大4倍,メモリフットプリントを1.5倍に削減しつつ,最先端のパーソナライズされたFL法の性能に適合することを示した。
  論文  参考訳（メタデータ） (2023-09-27T13:48:12Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• On skip connections and normalisation layers in deep optimisation [32.51139594406463]
  本稿では、ディープニューラルネットワークの最適化研究のための一般的な理論的枠組みを紹介する。 本フレームワークは多層損失景観の曲率および規則性特性を決定する。 スキップ接続がトレーニングを加速する新しい因果メカニズムを同定する。
  論文  参考訳（メタデータ） (2022-10-10T06:22:46Z)
• Global and Individualized Community Detection in Inhomogeneous Multilayer Networks [14.191073951237772]
  ネットワークアプリケーションでは、同じ主題の集合上で観測される複数のネットワークの形でデータセットを取得することがますます一般的になっている。 このようなデータセットは、各レイヤが別々のネットワーク自身であるマルチレイヤネットワークによってモデル化され、異なるレイヤが関連付けられ、共通の情報を共有することができる。 本稿では,非均質な多層ネットワークモデルを用いたスタイリングによるコミュニティ検出について検討する。
  論文  参考訳（メタデータ） (2020-12-02T02:42:52Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• Convolutional Networks with Dense Connectivity [59.30634544498946]
  Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。 各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。 提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
  論文  参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。