論文の概要: T-EMDE: Sketching-based global similarity for cross-modal retrieval
- arxiv url: http://arxiv.org/abs/2105.04242v1
- Date: Mon, 10 May 2021 10:14:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 15:23:30.102758
- Title: T-EMDE: Sketching-based global similarity for cross-modal retrieval
- Title（参考訳）: T-EMDE:クロスモーダル検索のためのスケッチに基づくグローバルな類似性
- Authors: Barbara Rychalska, Mikolaj Wieczorek, Jacek Dabrowski
- Abstract要約: クロスモーダル検索の鍵となる課題は、画像やテキストなど、異なるモダリティで表されるオブジェクト間の類似性を見つけることである。
現在、多くのクロスモーダルシステムはセルフアテンションでギャップを埋めようとします。
Efficient Density Manifold Estimator (EMDE) に触発されたニューラル密度推定器 T-EMDE を提案する。
T-EMDEは、セルフアテンションモジュールのドロップイン代替であり、クロスモーダル設定における速度とメトリック性能の両方に有益な影響を与えます。
- 参考スコア（独自算出の注目度）: 0.1933681537640272
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The key challenge in cross-modal retrieval is to find similarities between
objects represented with different modalities, such as image and text. However,
each modality embeddings stem from non-related feature spaces, which causes the
notorious 'heterogeneity gap'. Currently, many cross-modal systems try to
bridge the gap with self-attention. However, self-attention has been widely
criticized for its quadratic complexity, which prevents many real-life
applications. In response to this, we propose T-EMDE - a neural density
estimator inspired by the recently introduced Efficient Manifold Density
Estimator (EMDE) from the area of recommender systems. EMDE operates on
sketches - representations especially suitable for multimodal operations.
However, EMDE is non-differentiable and ingests precomputed, static embeddings.
With T-EMDE we introduce a trainable version of EMDE which allows full
end-to-end training. In contrast to self-attention, the complexity of our
solution is linear to the number of tokens/segments. As such, T-EMDE is a
drop-in replacement for the self-attention module, with beneficial influence on
both speed and metric performance in cross-modal settings. It facilitates
communication between modalities, as each global text/image representation is
expressed with a standardized sketch histogram which represents the same
manifold structures irrespective of the underlying modality. We evaluate T-EMDE
by introducing it into two recent cross-modal SOTA models and achieving new
state-of-the-art results on multiple datasets and decreasing model latency by
up to 20%.
- Abstract（参考訳）: クロスモーダル検索の鍵となる課題は、画像やテキストなど、異なるモダリティで表されるオブジェクト間の類似性を見つけることである。
しかし、各モダリティ埋め込みは非関連特徴空間に由来するため、悪名高い「異質性ギャップ」を引き起こす。
現在、多くのクロスモーダルシステムは自己注意でギャップを埋めようとしている。
しかし、自己注意はその二次的な複雑さで広く批判されており、多くの実生活の応用を妨げている。
これに対応して,最近導入された高効率マニフォールド密度推定器(EMDE)にインスパイアされたニューラルネットワーク密度推定器T-EMDEを提案する。
EMDEはスケッチ(特にマルチモーダル操作に適した表現)で動作する。
しかし、EMDEは非微分可能であり、事前計算された静的な埋め込みを取り込みます。
T-EMDEでは、エンドツーエンドのトレーニングを可能にするEMDEのトレーニング可能なバージョンを導入しました。
自己注意とは対照的に、ソリューションの複雑さはトークン/セグメントの数に線形である。
したがって、t-emdeはセルフアテンションモジュールのドロップイン代替であり、クロスモーダル設定における速度とメトリックパフォーマンスの両方に有益である。
各グローバルテキスト/画像表現は、基礎となるモダリティに関係なく同じ多様体構造を表す標準化されたスケッチヒストグラムで表現されるので、モダリティ間のコミュニケーションが容易になる。
我々は、T-EMDEを最近の2つのクロスモーダルSOTAモデルに導入し、複数のデータセット上で新しい最先端結果を実現し、モデル遅延を最大20%削減することで評価する。
関連論文リスト
- Learning Modality-agnostic Representation for Semantic Segmentation from Any Modalities [8.517830626176641]
Any2Segは、任意の視覚的条件におけるモダリティの組み合わせから堅牢なセグメンテーションを実現する新しいフレームワークである。
4つのモダリティを持つ2つのベンチマークの実験は、Any2Segがマルチモーダル設定の下で最先端を達成することを示した。
論文 参考訳（メタデータ） (2024-07-16T03:34:38Z) - Towards a Generalist and Blind RGB-X Tracker [91.36268768952755]
我々は、推論時間中に任意のモダリティ X を無視できる単一のモデルトラッカーを開発する。
トレーニングプロセスは非常にシンプルで,複数ラベルの分類損失をルーティング関数に統合する。
我々のジェネラリストとブラインドトラッカーは、確立されたモーダル固有モデルと比較して、競争性能を達成することができる。
論文 参考訳（メタデータ） (2024-05-28T03:00:58Z) - All in One Framework for Multimodal Re-identification in the Wild [58.380708329455466]
オールインワン(AIO)という,ReID導入のためのマルチモーダル学習パラダイム
AIOは、凍結したトレーニング済みのビッグデータをエンコーダとして利用し、追加の微調整なしに効果的なマルチモーダル検索を可能にする。
クロスモーダルおよびマルチモーダルReIDの実験により、AIOは様々なモーダルデータを扱うだけでなく、困難な状況でも優れていることが明らかになった。
論文 参考訳（メタデータ） (2024-05-08T01:04:36Z) - Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical
Fusion for Multimodal Affect Recognition [69.32305810128994]
モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。
本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。
HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
論文 参考訳（メタデータ） (2023-05-23T01:24:15Z) - Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。
具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
論文 参考訳（メタデータ） (2023-05-17T14:30:11Z) - Efficient Multimodal Transformer with Dual-Level Feature Restoration for
Robust Multimodal Sentiment Analysis [47.29528724322795]
マルチモーダルセンシング分析(MSA)が近年注目を集めている。
著しい進歩にもかかわらず、堅牢なMSAへの道にはまだ2つの大きな課題がある。
デュアルレベル特徴回復 (EMT-DLFR) を用いた高効率マルチモーダル変圧器 (Efficient Multimodal Transformer) を提案する。
論文 参考訳（メタデータ） (2022-08-16T08:02:30Z) - Multi-Modal Mutual Information Maximization: A Novel Approach for
Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。
モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。
提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
論文 参考訳（メタデータ） (2021-12-13T08:58:03Z) - MSO: Multi-Feature Space Joint Optimization Network for RGB-Infrared
Person Re-Identification [35.97494894205023]
RGB-infrared cross-modality person re-identification (ReID) タスクは、可視モダリティと赤外線モダリティの同一性の画像を認識することを目的としている。
既存の手法は主に2ストリームアーキテクチャを使用して、最終的な共通特徴空間における2つのモード間の相違を取り除く。
単一モダリティ空間と共通空間の両方において、モダリティ調和可能な特徴を学習できる新しい多機能空間共同最適化(MSO)ネットワークを提案する。
論文 参考訳（メタデータ） (2021-10-21T16:45:23Z) - Improving Multimodal fusion via Mutual Dependency Maximisation [5.73995120847626]
マルチモーダル・感情分析は研究のトレンドとなっている分野であり、マルチモーダル・フュージョンは最も活発なトピックの1つである。
本研究では,未探索の罰則を調査し,モダリティ間の依存性を測定するための新たな目的セットを提案する。
我々は、我々の新しい罰則が様々な最先端モデルに対して一貫した改善(正確性で最大4.3ドル)をもたらすことを示した。
論文 参考訳（メタデータ） (2021-08-31T06:26:26Z) - A Multi-Semantic Metapath Model for Large Scale Heterogeneous Network
Representation Learning [52.83948119677194]
大規模不均一表現学習のためのマルチセマンティックメタパス(MSM)モデルを提案する。
具体的には,マルチセマンティックなメタパスに基づくランダムウォークを生成し,不均衡な分布を扱うヘテロジニアスな近傍を構築する。
提案するフレームワークに対して,AmazonとAlibabaの2つの挑戦的なデータセットに対して,体系的な評価を行う。
論文 参考訳（メタデータ） (2020-07-19T22:50:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。