論文の概要: What Representational Similarity Measures Imply about Decodable Information

• arxiv url: http://arxiv.org/abs/2411.08197v1
• Date: Tue, 12 Nov 2024 21:37:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:12:08.187016
• Title: What Representational Similarity Measures Imply about Decodable Information
• Title（参考訳）: 表象的類似度は, 消極的情報にどのような影響を及ぼすか
• Authors: Sarah E. Harvey, David Lipshutz, Alex H. Williams,
• Abstract要約: 我々は、デコーディングの観点から、いくつかのニューラルネットワーク類似度尺度が等価に動機付けられることを示した。 CKAやCCAといった手法は、デコードタスクの分散を通して最適な線形読み込み間の平均的なアライメントを定量化します。 全体として、我々の研究は、神経表現の幾何学と情報を線形に復号する能力の密接な関係を実証している。
• 参考スコア（独自算出の注目度）: 6.5879381737929945
• License:
• Abstract: Neural responses encode information that is useful for a variety of downstream tasks. A common approach to understand these systems is to build regression models or ``decoders'' that reconstruct features of the stimulus from neural responses. Popular neural network similarity measures like centered kernel alignment (CKA), canonical correlation analysis (CCA), and Procrustes shape distance, do not explicitly leverage this perspective and instead highlight geometric invariances to orthogonal or affine transformations when comparing representations. Here, we show that many of these measures can, in fact, be equivalently motivated from a decoding perspective. Specifically, measures like CKA and CCA quantify the average alignment between optimal linear readouts across a distribution of decoding tasks. We also show that the Procrustes shape distance upper bounds the distance between optimal linear readouts and that the converse holds for representations with low participation ratio. Overall, our work demonstrates a tight link between the geometry of neural representations and the ability to linearly decode information. This perspective suggests new ways of measuring similarity between neural systems and also provides novel, unifying interpretations of existing measures.
• Abstract（参考訳）: ニューラルレスポンスは、さまざまな下流タスクに有用な情報をエンコードする。 これらのシステムを理解するための一般的なアプローチは、神経反応から刺激の特徴を再構成する回帰モデルや'デコーダ'を構築することである。 中心核アライメント(CKA)、正準相関解析(CCA)、プロクリスト形状距離といった一般的なニューラルネットワークの類似性尺度は、この観点を明示的に活用せず、表現の比較において直交変換やアフィン変換に対する幾何学的不変性を強調している。 ここでは、これらの測度の多くは、デコードの観点から等価に動機付け可能であることを示す。 具体的には、CKAやCCAといった測度は、デコードタスクの分布にまたがる最適な線形読み出し間の平均的なアライメントを定量化する。 また, Procrustes 形状距離上界は, 最適線形読み出し距離と, コンバースが低参加比の表現に対して成り立つことを示す。 全体として、我々の研究は、神経表現の幾何学と情報を線形に復号する能力の密接な関係を実証している。 この視点は、ニューラルネットワーク間の類似性を測定する新しい方法を示し、既存の測度を新しく統一した解釈を提供する。

関連論文リスト

• Canonical Correlation Guided Deep Neural Network [14.188285111418516]
  深層ニューラルネットワーク(CCDNN)により実現可能な標準相関学習フレームワークを提案する。 提案手法では、最適化の定式化は相関を最大化するために制限されず、代わりに正規相関を制約として行う。 相関による冗長性を低減するために、冗長性フィルタを設計する。
  論文  参考訳（メタデータ） (2024-09-28T16:08:44Z)
• Differentiable Optimization of Similarity Scores Between Models and Brains [1.5391321019692434]
  線形回帰、CKA(Centered Kernel Alignment)、正規化バーレス類似度(NBS)、角状プロクリスト距離といった類似度は、この類似度を定量化するためにしばしば用いられる。 本稿では、類似度の高いスコアと「良い」スコアを構成するスコアについて調査する新しいツールについて紹介する。 驚くべきことに、高い類似度スコアは、ニューラルデータと整合した方法でタスク関連情報を符号化することを保証していない。
  論文  参考訳（メタデータ） (2024-07-09T17:31:47Z)
• Soft Matching Distance: A metric on neural representations that captures single-neuron tuning [6.5714523708869566]
  ニューラル表現(dis)相似性の共通測度は、ニューラルアクティベーション空間の回転や反射に敏感であるように設計されている。 異なる大きさのネットワーク間の距離を測定するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-11-16T00:13:00Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Learning Partial Correlation based Deep Visual Representation for Image Classification [61.0532370259644]
  CNNの新たな構造層としてスパース逆共分散推定(SICE)を定式化する。 本研究は,部分的相関に基づく深部視覚表現を求め,小さなサンプル問題を緩和する。 実験により,本モデルの有効性と優れた分類性能が示された。
  論文  参考訳（メタデータ） (2023-04-23T10:09:01Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• Learning Optical Flow from a Few Matches [67.83633948984954]
  密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。 実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
  論文  参考訳（メタデータ） (2021-04-05T21:44:00Z)
• MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
  ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。 形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
  論文  参考訳（メタデータ） (2020-06-17T05:14:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。