論文の概要: Decoupling Semantic Similarity from Spatial Alignment for Neural Networks
- arxiv url: http://arxiv.org/abs/2410.23107v1
- Date: Wed, 30 Oct 2024 15:17:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-31 14:29:08.438641
- Title: Decoupling Semantic Similarity from Spatial Alignment for Neural Networks
- Title（参考訳）: ニューラルネットワークにおける空間配向からの意味的類似性の分離
- Authors: Tassilo Wald, Constantin Ulrich, Gregor Köhler, David Zimmerer, Stefan Denner, Michael Baumgartner, Fabian Isensee, Priyank Jaini, Klaus H. Maier-Hein,
- Abstract要約: 意味オブジェクトの空間的位置は人間の知覚や深層学習の分類に影響を与えない。
これはコンピュータビジョンシステムにおける画像応答の類似性の定義に反映されるべきである。
入力応答間の意味的類似性を,集合マッチング問題として定式化することで測定する。
- 参考スコア（独自算出の注目度）: 4.801683210246596
- License:
- Abstract: What representation do deep neural networks learn? How similar are images to each other for neural networks? Despite the overwhelming success of deep learning methods key questions about their internal workings still remain largely unanswered, due to their internal high dimensionality and complexity. To address this, one approach is to measure the similarity of activation responses to various inputs. Representational Similarity Matrices (RSMs) distill this similarity into scalar values for each input pair. These matrices encapsulate the entire similarity structure of a system, indicating which input leads to similar responses. While the similarity between images is ambiguous, we argue that the spatial location of semantic objects does neither influence human perception nor deep learning classifiers. Thus this should be reflected in the definition of similarity between image responses for computer vision systems. Revisiting the established similarity calculations for RSMs we expose their sensitivity to spatial alignment. In this paper, we propose to solve this through semantic RSMs, which are invariant to spatial permutation. We measure semantic similarity between input responses by formulating it as a set-matching problem. Further, we quantify the superiority of semantic RSMs over spatio-semantic RSMs through image retrieval and by comparing the similarity between representations to the similarity between predicted class probabilities.
- Abstract（参考訳）: ディープニューラルネットワークはどんな表現を学ぶのか?
ニューラルネットワークでは、画像はどの程度似ていますか?
ディープラーニング手法の圧倒的な成功にもかかわらず、内部の高次元性と複雑さのため、内部の作業に関する重要な疑問は、まだほとんど答えられていない。
これを解決するために、様々な入力に対するアクティベーション応答の類似度を測定する方法がある。
表現的類似度行列(Representational similarity Matrices、RSM)は、この類似性を各入力ペアのスカラー値に蒸留する。
これらの行列はシステム全体の類似性構造をカプセル化し、どの入力が同様の反応をもたらすかを示す。
画像間の類似性は曖昧であるが、意味オブジェクトの空間的位置は人間の知覚や深層学習の分類に影響を及ぼさないと論じる。
したがって、これはコンピュータビジョンシステムにおける画像応答の類似性の定義に反映されるべきである。
RSMに対して確立された類似性計算を再考し、空間的アライメントに対する感度を明らかにする。
本稿では,空間置換に不変な意味的RSMを用いてこの問題を解決することを提案する。
セットマッチング問題として定式化することで,入力応答間の意味的類似度を測定する。
さらに、画像検索と、予測クラス確率間の類似度との類似度を比較することにより、画像検索により、スパン・セマンティック RSM よりも意味的 RSM の方が優れていることを定量化する。
関連論文リスト
- Interpretable Measures of Conceptual Similarity by
Complexity-Constrained Descriptive Auto-Encoding [112.0878081944858]
画像間の類似度を定量化することは、画像ベースの機械学習にとって重要な著作権問題である。
我々は,高次関係を捉えた画像間での「概念的類似性」の概念を定義し,計算することを目指している。
2つの非常に異種な画像は、その記述の早い段階で識別できるが、概念的に異種な画像は、より詳細を区別する必要がある。
論文 参考訳（メタデータ） (2024-02-14T03:31:17Z) - Going Beyond Neural Network Feature Similarity: The Network Feature
Complexity and Its Interpretation Using Category Theory [64.06519549649495]
機能的に等価な機能と呼ぶものの定義を提供します。
これらの特徴は特定の変換の下で等価な出力を生成する。
反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-10T16:27:12Z) - Hamming Similarity and Graph Laplacians for Class Partitioning and
Adversarial Image Detection [2.960821510561423]
ニューラルネットワークの動作の理解と解釈を支援するために,ReLUアクティベーションパターン(ビットベクトルとして符号化)の可能性を検討する。
本稿では、Representational Dissimilarity Matrices(RDM)を用いて、ディープニューラルネットワークの埋め込み空間におけるデータのコヒーレンスについて検討する。
我々は,ビットベクトルが逆画像検出に役立ち,逆画像と非逆画像の分離において95%以上の精度を達成できることを実証した。
論文 参考訳（メタデータ） (2023-05-02T22:16:15Z) - Geometric Visual Similarity Learning in 3D Medical Image Self-supervised
Pre-training [13.069894581477385]
画像間の類似性を学ぶことは、3D医療画像の自己教師付き事前トレーニングに不可欠である。
本稿では,新しい視覚類似学習パラダイムである幾何学的視覚類似学習を提案する。
実験により,画像間類似性学習による事前学習により,より強力な内部シーン,シーン間,グローバルな局所移動能力が得られることが示された。
論文 参考訳（メタデータ） (2023-03-02T00:21:15Z) - Representational dissimilarity metric spaces for stochastic neural
networks [4.229248343585332]
神経表現の類似性を定量化することは、深層学習と神経科学研究における長年の問題である。
形状メトリクスを一般化して表現の違いを定量化する。
神経生物学的指向型視覚格子と自然主義的なシーンはそれぞれ、訓練されていない深層ネットワーク表現と訓練された深部ネットワーク表現に類似している。
論文 参考訳（メタデータ） (2022-11-21T17:32:40Z) - Attributable Visual Similarity Learning [90.69718495533144]
本稿では、画像間のより正確で説明可能な類似度測定のための帰属的視覚類似度学習(AVSL)フレームワークを提案する。
人間の意味的類似性認知に動機づけられた2つの画像とグラフとの類似性を表現するために,一般化された類似性学習パラダイムを提案する。
CUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、既存の深い類似性学習方法よりも大幅に改善されたことを示している。
論文 参考訳（メタデータ） (2022-03-28T17:35:31Z) - Deconfounded Representation Similarity for Comparison of Neural Networks [16.23053104309891]
類似度指標は、入力空間内のデータ項目の集団構造によって構成される。
類似度指標を分解することで,意味論的に類似したニューラルネットワークを検出する分解能が向上することを示す。
論文 参考訳（メタデータ） (2022-01-31T21:25:02Z) - Grounding Psychological Shape Space in Convolutional Neural Networks [0.0]
我々は畳み込みニューラルネットワークを用いて、知覚入力間の一般化可能なマッピングと、最近提案された形状領域の心理学的類似性空間を学習する。
この結果から,分類に基づくマルチタスク学習シナリオが最も優れた結果が得られるが,その性能は類似性空間の次元に比較的敏感であることが示唆された。
論文 参考訳（メタデータ） (2021-11-16T12:21:07Z) - Image Synthesis via Semantic Composition [74.68191130898805]
本稿では,その意味的レイアウトに基づいて現実的なイメージを合成する新しい手法を提案する。
類似した外観を持つ物体に対して、類似した表現を共有するという仮説が立てられている。
本手法は, 空間的変化と関連表現の両方を生じる, 外観相関による領域間の依存関係を確立する。
論文 参考訳（メタデータ） (2021-09-15T02:26:07Z) - Semantic Distribution-aware Contrastive Adaptation for Semantic
Segmentation [50.621269117524925]
ドメイン適応セマンティックセグメンテーション(ドメイン適応セマンティックセグメンテーション)とは、特定のソースドメインのアノテーションだけで特定のターゲットドメイン上で予測を行うことを指す。
画素ワイド表示アライメントを可能にする意味分布対応コントラスト適応アルゴリズムを提案する。
複数のベンチマークでSDCAを評価し、既存のアルゴリズムを大幅に改善します。
論文 参考訳（メタデータ） (2021-05-11T13:21:25Z) - Seed the Views: Hierarchical Semantic Alignment for Contrastive
Representation Learning [116.91819311885166]
一つの画像から生成されたビューをtextbfCross-samples や Multi-level representation に拡張することで,階層的なセマンティックアライメント戦略を提案する。
提案手法はCsMlと呼ばれ,サンプル間の多層視覚表現を堅牢な方法で統合する機能を備えている。
論文 参考訳（メタデータ） (2020-12-04T17:26:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。