論文の概要: InvGC: Robust Cross-Modal Retrieval by Inverse Graph Convolution
- arxiv url: http://arxiv.org/abs/2310.13276v2
- Date: Wed, 25 Oct 2023 00:46:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 19:08:50.113068
- Title: InvGC: Robust Cross-Modal Retrieval by Inverse Graph Convolution
- Title(参考訳): InvGC: 逆グラフ畳み込みによるロバストなクロスモーダル検索
- Authors: Xiangru Jian, Yimu Wang
- Abstract要約: マルチモーダルデータ表現は(表現退化問題として)限られた凸錐内にクラスタリングする傾向がある
InvGCは、グラフの畳み込みと平均プールにインスパイアされた後処理技術である。
LocalAdjは、各データポイントとその隣人の間の距離を増やすことを目的としている。
- 参考スコア(独自算出の注目度): 4.2369969117130015
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Over recent decades, significant advancements in cross-modal retrieval are
mainly driven by breakthroughs in visual and linguistic modeling. However, a
recent study shows that multi-modal data representations tend to cluster within
a limited convex cone (as representation degeneration problem), which hinders
retrieval performance due to the inseparability of these representations. In
our study, we first empirically validate the presence of the representation
degeneration problem across multiple cross-modal benchmarks and methods. Next,
to address it, we introduce a novel method, called InvGC, a post-processing
technique inspired by graph convolution and average pooling. Specifically,
InvGC defines the graph topology within the datasets and then applies graph
convolution in a subtractive manner. This method effectively separates
representations by increasing the distances between data points. To improve the
efficiency and effectiveness of InvGC, we propose an advanced graph topology,
LocalAdj, which only aims to increase the distances between each data point and
its nearest neighbors. To understand why InvGC works, we present a detailed
theoretical analysis, proving that the lower bound of recall will be improved
after deploying InvGC. Extensive empirical results show that InvGC and InvGC
w/LocalAdj significantly mitigate the representation degeneration problem,
thereby enhancing retrieval performance.
Our code is available at
https://github.com/yimuwangcs/Better_Cross_Modal_Retrieval
- Abstract(参考訳): 近年、クロスモーダル検索の大幅な進歩は、主に視覚と言語モデリングのブレークスルーによってもたらされている。
しかし、近年の研究では、マルチモーダルデータ表現は(表現退化問題として)限られた凸円錐内に集結する傾向にあり、これらの表現の分離性による検索性能の低下が示唆されている。
本研究ではまず,複数のベンチマークと手法を用いた表現退化問題の存在を実証的に検証した。
次に,グラフの畳み込みと平均プールにインスパイアされた後処理技術であるInvGCを提案する。
具体的には、InvGCはデータセット内のグラフトポロジーを定義し、次に減算的にグラフ畳み込みを適用する。
この方法はデータポイント間の距離を増加させることで表現を効果的に分離する。
InvGCの効率性と有効性を向上させるため,各データ点と近接する近傍の距離を拡大することのみを目的とした高度なグラフトポロジであるLocalAdjを提案する。
InvGCの動作理由を理解するため,InvGCの展開後,リコールの低限界が改善されることを証明した,詳細な理論的解析を行った。
その結果, InvGC と InvGC w/LocalAdj が表現退化問題を著しく軽減し,検索性能が向上した。
私たちのコードはhttps://github.com/yimuwangcs/Better_Cross_Modal_Retrievalで利用可能です。
関連論文リスト
- Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。
提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
論文 参考訳(メタデータ) (2024-01-12T17:57:07Z) - From Cluster Assumption to Graph Convolution: Graph-based
Semi-Supervised Learning Revisited [54.30029041452624]
グラフベースの半教師付き学習(GSSL)は、長い間ホットな研究トピックだった。
グラフ畳み込みネットワーク (GCN) は, 有望な性能を示す主要な技術となっている。
論文 参考訳(メタデータ) (2023-09-24T10:10:21Z) - Unsupervised Multiplex Graph Learning with Complementary and Consistent
Information [20.340977728674698]
非教師付き多重グラフ学習(UMGL)は、下流の異なるタスクに対して大きな効果を発揮することが示されている。
従来の手法は通常、実用上の問題、すなわちサンプル外問題やノイズ問題を見落としている。
本稿では,相補的情報と一貫した情報の両方を効果的かつ効率的に探索する手法を提案する。
論文 参考訳(メタデータ) (2023-08-03T08:24:08Z) - CARL-G: Clustering-Accelerated Representation Learning on Graphs [18.763104937800215]
本稿では,クラスタ検証指標(CVI)にインスパイアされた損失を利用したグラフ表現学習のための新しいクラスタリングベースのフレームワークを提案する。
CARL-Gはクラスタリング法やCVIに適応し,クラスタリング法とCVIの適切な選択により,CARL-Gは4/5データセットのノード分類ベースラインを最大79倍のトレーニングスピードアップで上回ることを示す。
論文 参考訳(メタデータ) (2023-06-12T08:14:42Z) - From Spectral Graph Convolutions to Large Scale Graph Convolutional
Networks [0.0]
グラフ畳み込みネットワーク(GCN)は、様々なタスクにうまく適用された強力な概念であることが示されている。
古典グラフ理論の関連部分を含むGCNの定義への道を開いた理論を考察する。
論文 参考訳(メタデータ) (2022-07-12T16:57:08Z) - Interpolation-based Correlation Reduction Network for Semi-Supervised
Graph Learning [49.94816548023729]
補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。
提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。
この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
論文 参考訳(メタデータ) (2022-06-06T14:26:34Z) - SCGC : Self-Supervised Contrastive Graph Clustering [1.1470070927586016]
グラフクラスタリングはネットワーク内のグループやコミュニティを検出する。
オートエンコーダのような深層学習手法は、豊富な構造情報を組み込むことはできない。
自己監督型コントラストグラフクラスタリング(SCGC)を提案する。
論文 参考訳(メタデータ) (2022-04-27T01:38:46Z) - CGC: Contrastive Graph Clustering for Community Detection and Tracking [33.48636823444052]
グラフクラスタリングのための新しいエンドツーエンドフレームワークであるCGCを開発した。
CGCは、対照的なグラフ学習フレームワークでノードの埋め込みとクラスタ割り当てを学習する。
時間進化データに対してCGCを拡張し、時間的グラフクラスタリングを漸進的な学習方式で行う。
論文 参考訳(メタデータ) (2022-04-05T17:34:47Z) - GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。
本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
論文 参考訳(メタデータ) (2022-03-24T02:58:36Z) - Causal Incremental Graph Convolution for Recommender System Retraining [89.25922726558875]
実世界のレコメンデーションシステムは、新しいデータを維持するために定期的に再トレーニングする必要がある。
本研究では,GCNに基づくレコメンデータモデルを用いて,グラフ畳み込みネットワーク(GCN)を効率的に再学習する方法を検討する。
論文 参考訳(メタデータ) (2021-08-16T04:20:09Z) - Revisiting Contrastive Methods for Unsupervised Learning of Visual
Representations [78.12377360145078]
対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。
本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。
現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
論文 参考訳(メタデータ) (2021-06-10T17:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。