論文の概要: Deconfounded Representation Similarity for Comparison of Neural Networks

• arxiv url: http://arxiv.org/abs/2202.00095v1
• Date: Mon, 31 Jan 2022 21:25:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-02 13:58:59.124172
• Title: Deconfounded Representation Similarity for Comparison of Neural Networks
• Title（参考訳）: ニューラルネットワークの比較のための非畳み込み表現類似性
• Authors: Tianyu Cui, Yogesh Kumar, Pekka Marttinen, Samuel Kaski
• Abstract要約: 類似度指標は、入力空間内のデータ項目の集団構造によって構成される。 類似度指標を分解することで,意味論的に類似したニューラルネットワークを検出する分解能が向上することを示す。
• 参考スコア（独自算出の注目度）: 16.23053104309891
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Similarity metrics such as representational similarity analysis (RSA) and centered kernel alignment (CKA) have been used to compare layer-wise representations between neural networks. However, these metrics are confounded by the population structure of data items in the input space, leading to spuriously high similarity for even completely random neural networks and inconsistent domain relations in transfer learning. We introduce a simple and generally applicable fix to adjust for the confounder with covariate adjustment regression, which retains the intuitive invariance properties of the original similarity measures. We show that deconfounding the similarity metrics increases the resolution of detecting semantically similar neural networks. Moreover, in real-world applications, deconfounding improves the consistency of representation similarities with domain similarities in transfer learning, and increases correlation with out-of-distribution accuracy.
• Abstract（参考訳）: 表現類似度分析(RSA)や中心核アライメント(CKA)といった類似度メトリクスは、ニューラルネットワーク間のレイヤワイド表現を比較するために用いられてきた。 しかし、これらの指標は入力空間におけるデータ項目の集団構造によって構築され、完全にランダムなニューラルネットワークと、転送学習における矛盾したドメイン関係の急激な類似性をもたらす。 直感的な相似性尺度の不変性を保ちながら,共創者に対して共変量調整を施すための,単純で汎用的な修正を導入する。 類似度メトリクスを分離することで、意味的に類似したニューラルネットワークの検出の解像度が向上することを示す。 さらに、実世界のアプリケーションでは、デコンウンディングは転送学習におけるドメイン類似性との表現類似性の整合性を改善し、分布外精度との相関性を高める。

関連論文リスト

• Decoupling Semantic Similarity from Spatial Alignment for Neural Networks [4.801683210246596]
  意味オブジェクトの空間的位置は人間の知覚や深層学習の分類に影響を与えない。 これはコンピュータビジョンシステムにおける画像応答の類似性の定義に反映されるべきである。 入力応答間の意味的類似性を,集合マッチング問題として定式化することで測定する。
  論文  参考訳（メタデータ） (2024-10-30T15:17:58Z)
• Cluster-Aware Similarity Diffusion for Instance Retrieval [64.40171728912702]
  拡散に基づく再ランク付け(diffusion-based re-level)は、隣り合うグラフで類似性の伝播を実行することで、インスタンスを検索する一般的な方法である。 本稿では,新しいクラスタ・アウェア類似性(CAS)拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-06-04T14:19:50Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Counting Like Human: Anthropoid Crowd Counting on Modeling the Similarity of Objects [92.80955339180119]
  メインストリームの群衆計数法は 密度マップを補強して 計数結果を得るために統合する。 これに触発された我々は,合理的かつ人為的な集団カウントフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-02T07:00:53Z)
• Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning [75.46664770669949]
  本稿では,関係認識型コントラスト型自己教師型学習(ReCo)をインスタンス関係に統合するために提案する。 当社のReCoは、常に顕著なパフォーマンス改善を実現しています。
  論文  参考訳（メタデータ） (2022-11-02T03:25:28Z)
• Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing [58.401504709365284]
  非畳み込みニューラルネットワークの重み類似度を定量化できる重み類似度尺度を提案する。 まず,ニューラルネットワークの重みをチェーン正規化規則により正規化し,重み訓練表現学習を導入する。 ニューラルネットワークの重み類似性に関する仮説を検証するため,従来の仮説検証手法を拡張した。
  論文  参考訳（メタデータ） (2022-08-08T19:11:03Z)
• Attributable Visual Similarity Learning [90.69718495533144]
  本稿では、画像間のより正確で説明可能な類似度測定のための帰属的視覚類似度学習(AVSL)フレームワークを提案する。 人間の意味的類似性認知に動機づけられた2つの画像とグラフとの類似性を表現するために,一般化された類似性学習パラダイムを提案する。 CUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、既存の深い類似性学習方法よりも大幅に改善されたことを示している。
  論文  参考訳（メタデータ） (2022-03-28T17:35:31Z)
• MNet-Sim: A Multi-layered Semantic Similarity Network to Evaluate Sentence Similarity [0.0]
  類似性(英: similarity)は、それが考慮される領域によって異なる比較目的測度である。 本稿では,複数の類似度に基づく多層意味類似性ネットワークモデルを提案する。 その結果, 文類似性の評価において, 性能スコアが向上していることが判明した。
  論文  参考訳（メタデータ） (2021-11-09T20:43:18Z)
• Similarity and Matching of Neural Network Representations [0.0]
  我々は、深層ニューラルネットワークにおける表現の類似性を分析するために、Frankenstein博士と呼ばれるツールセットを使用します。 我々は、2つのトレーニングニューラルネットワークの与えられた層上でのアクティベーションを、縫合層で結合することで一致させることを目指している。
  論文  参考訳（メタデータ） (2021-10-27T17:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。