論文の概要: Measuring similarity between embedding spaces using induced neighborhood graphs
- arxiv url: http://arxiv.org/abs/2411.08687v1
- Date: Wed, 13 Nov 2024 15:22:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-14 16:10:46.445275
- Title: Measuring similarity between embedding spaces using induced neighborhood graphs
- Title(参考訳): 近傍グラフを用いた埋め込み空間間の類似度の測定
- Authors: Tiago F. Tavares, Fabio Ayres, Paris Smaragdis,
- Abstract要約: 本稿では,ペアの項目表現の類似性を評価するための指標を提案する。
この結果から,類似度とゼロショット分類タスクの精度が類似度と相関していることが示唆された。
- 参考スコア(独自算出の注目度): 10.056989400384772
- License:
- Abstract: Deep Learning techniques have excelled at generating embedding spaces that capture semantic similarities between items. Often these representations are paired, enabling experiments with analogies (pairs within the same domain) and cross-modality (pairs across domains). These experiments are based on specific assumptions about the geometry of embedding spaces, which allow finding paired items by extrapolating the positional relationships between embedding pairs in the training dataset, allowing for tasks such as finding new analogies, and multimodal zero-shot classification. In this work, we propose a metric to evaluate the similarity between paired item representations. Our proposal is built from the structural similarity between the nearest-neighbors induced graphs of each representation, and can be configured to compare spaces based on different distance metrics and on different neighborhood sizes. We demonstrate that our proposal can be used to identify similar structures at different scales, which is hard to achieve with kernel methods such as Centered Kernel Alignment (CKA). We further illustrate our method with two case studies: an analogy task using GloVe embeddings, and zero-shot classification in the CIFAR-100 dataset using CLIP embeddings. Our results show that accuracy in both analogy and zero-shot classification tasks correlates with the embedding similarity. These findings can help explain performance differences in these tasks, and may lead to improved design of paired-embedding models in the future.
- Abstract(参考訳): ディープラーニング技術は、アイテム間のセマンティックな類似性をキャプチャする埋め込みスペースの生成に優れています。
これらの表現はしばしばペア化され、類似(同じ領域内のペア)と相互モダリティ(ドメイン間のペア)の実験を可能にする。
これらの実験は、埋め込み空間の幾何学に関する特定の仮定に基づいており、これは、組込みペア間の位置関係をトレーニングデータセットに外挿することで、新しいアナロジーの発見やマルチモーダルゼロショット分類などのタスクを可能にする。
本研究では,ペアの項目表現の類似性を評価するための指標を提案する。
提案手法は,各表現の最も近い隣り合うグラフ間の構造的類似性から構築され,距離の異なる測度と近傍の大きさの違いに基づいて空間を比較するように構成できる。
提案手法は,CKA(Centered Kernel Alignment)などのカーネル手法では実現し難い,異なるスケールで類似した構造を識別できることを示す。
さらに、GloVe埋め込みを用いた類似タスクとCLIP埋め込みを用いたCIFAR-100データセットにおけるゼロショット分類という2つのケーススタディを用いて、本手法について述べる。
この結果から,類似度とゼロショット分類タスクの精度が類似度と相関していることが示唆された。
これらの結果はこれらのタスクのパフォーマンスの違いを説明するのに役立ち、将来的にはペア埋め込みモデルの設計の改善につながる可能性がある。
関連論文リスト
- Supervised Pattern Recognition Involving Skewed Feature Densities [49.48516314472825]
一致する類似度指数に基づくユークリッド距離の分類ポテンシャルと相似性指数を比較する。
隣接する2つの群の密度間の交点を分類する精度を考慮する。
論文 参考訳(メタデータ) (2024-09-02T12:45:18Z) - Cluster-Aware Similarity Diffusion for Instance Retrieval [64.40171728912702]
拡散に基づく再ランク付け(diffusion-based re-level)は、隣り合うグラフで類似性の伝播を実行することで、インスタンスを検索する一般的な方法である。
本稿では,新しいクラスタ・アウェア類似性(CAS)拡散モデルを提案する。
論文 参考訳(メタデータ) (2024-06-04T14:19:50Z) - Object Type Clustering using Markov Directly-Follow Multigraph in
Object-Centric Process Mining [2.3351527694849574]
本稿では,Markov Directly-Follow Multigraphに基づくクラスタ類似のケース概念に対する新しいアプローチを提案する。
しきい値チューニングアルゴリズムは、異なるレベルの類似性に基づいて発見できる異なるクラスタの集合を特定するためにも定義される。
論文 参考訳(メタデータ) (2022-06-22T12:36:46Z) - Attributable Visual Similarity Learning [90.69718495533144]
本稿では、画像間のより正確で説明可能な類似度測定のための帰属的視覚類似度学習(AVSL)フレームワークを提案する。
人間の意味的類似性認知に動機づけられた2つの画像とグラフとの類似性を表現するために,一般化された類似性学習パラダイムを提案する。
CUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、既存の深い類似性学習方法よりも大幅に改善されたことを示している。
論文 参考訳(メタデータ) (2022-03-28T17:35:31Z) - Towards Similarity-Aware Time-Series Classification [51.2400839966489]
時系列データマイニングの基本課題である時系列分類(TSC)について検討する。
グラフニューラルネットワーク(GNN)を用いて類似情報をモデル化するフレームワークであるSimTSCを提案する。
論文 参考訳(メタデータ) (2022-01-05T02:14:57Z) - Modelling Neighbor Relation in Joint Space-Time Graph for Video
Correspondence Learning [53.74240452117145]
本稿では、ラベルなしビデオから信頼できる視覚対応を学習するための自己教師付き手法を提案する。
接続時空間グラフでは,ノードがフレームからサンプリングされたグリッドパッチであり,2種類のエッジによってリンクされる。
学習した表現は、様々な視覚的タスクにおいて最先端の自己監督手法よりも優れています。
論文 参考訳(メタデータ) (2021-09-28T05:40:01Z) - Cycle Registration in Persistent Homology with Applications in
Topological Bootstrap [0.0]
2つの空間の持続的ホモロジー表現(フィルタ)を比較するための新しいアプローチを提案する。
2つの異なる空間の個々の持続サイクル間の対応関係を定義する。
サイクルのマッチングは、永続化間隔と各特徴の空間配置の両方に基づいています。
論文 参考訳(メタデータ) (2021-01-03T20:12:00Z) - Similarity Based Stratified Splitting: an approach to train better
classifiers [0.0]
出力空間情報と入力空間情報の両方を用いてデータを分割する類似性に基づく階層分割手法を提案する。
提案手法を,マルチ層パーセプトロン,サポートベクトルマシン,ランダムフォレスト,K-Nearest Neighborsなどの分類器を用いたベンチマークデータセットで評価した。
論文 参考訳(メタデータ) (2020-10-13T01:07:48Z) - Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。
両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。
RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
論文 参考訳(メタデータ) (2020-07-23T14:00:34Z) - Building and Interpreting Deep Similarity Models [0.0]
そこで本稿では,入力機能の観点から説明することで類似性を解釈する手法を提案する。
我々は,2組の入力特徴に対して類似度スコアを系統的に分解する,スケーラブルで理論的に確立された手法であるBiLRPを開発した。
論文 参考訳(メタデータ) (2020-03-11T17:46:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。