論文の概要: Long-tail Cross Modal Hashing
- arxiv url: http://arxiv.org/abs/2211.15162v1
- Date: Mon, 28 Nov 2022 09:18:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 14:45:48.276044
- Title: Long-tail Cross Modal Hashing
- Title(参考訳): ロングテールクロスモーダルハッシュ
- Authors: Zijun Gao, Jun Wang, Guoxian Yu, Zhongmin Yan, Carlotta Domeniconi,
Jinglin Zhang
- Abstract要約: 我々は不均衡なマルチモーダルデータを扱うためにLtCMH(Long-tail CMH)を提案する。
LtCMHは、ロングテールデータセットの最先端ベースラインを著しく上回る。
- 参考スコア(独自算出の注目度): 28.56122404774158
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing Cross Modal Hashing (CMH) methods are mainly designed for balanced
data, while imbalanced data with long-tail distribution is more general in
real-world. Several long-tail hashing methods have been proposed but they can
not adapt for multi-modal data, due to the complex interplay between labels and
individuality and commonality information of multi-modal data. Furthermore, CMH
methods mostly mine the commonality of multi-modal data to learn hash codes,
which may override tail labels encoded by the individuality of respective
modalities. In this paper, we propose LtCMH (Long-tail CMH) to handle
imbalanced multi-modal data. LtCMH firstly adopts auto-encoders to mine the
individuality and commonality of different modalities by minimizing the
dependency between the individuality of respective modalities and by enhancing
the commonality of these modalities. Then it dynamically combines the
individuality and commonality with direct features extracted from respective
modalities to create meta features that enrich the representation of tail
labels, and binaries meta features to generate hash codes. LtCMH significantly
outperforms state-of-the-art baselines on long-tail datasets and holds a better
(or comparable) performance on datasets with balanced labels.
- Abstract(参考訳): 既存のクロスモーダルハッシュ法(cmh)は主にバランスのあるデータのために設計されているが、ロングテール分布を持つ不均衡なデータは現実世界でより一般的である。
いくつかのロングテールハッシュ法が提案されているが、ラベルと個人間の複雑な相互作用とマルチモーダルデータの共通性情報のため、マルチモーダルデータには適応できない。
さらに、cmh法は、各モダリティの個性によって符号化された末尾ラベルをオーバーライドするハッシュコードを学ぶために、多モードデータの共通性を発掘する。
本稿では,不均衡なマルチモーダルデータを扱うLtCMH(Long-tail CMH)を提案する。
LtCMHはまず、各モダリティの個性と共通性を最小化し、これらのモダリティの共通性を高めることで、異なるモダリティの個性と共通性をマイニングするオートエンコーダを採用する。
次に、個性と共通性を各モジュールから抽出した直接特徴と動的に組み合わせて、テールラベルの表現を豊かにするメタ特徴と、ハッシュコードを生成するバイナリメタ特徴を生成する。
LtCMHは、ロングテールデータセットの最先端ベースラインを著しく上回り、バランスの取れたラベルを持つデータセットの(あるいは同等の)パフォーマンスを向上する。
関連論文リスト
- Pseudo-Label Calibration Semi-supervised Multi-Modal Entity Alignment [7.147651976133246]
マルチモーダル・エンティティ・アライメント(MMEA)は、統合のための2つのマルチモーダル・ナレッジ・グラフ間で等価なエンティティを識別することを目的としている。
Pseudo-label Multimodal Entity Alignment (PCMEA) を半教師付き方式で導入する。
モーメントに基づくコントラスト学習とラベル付きデータとラベルなしデータの完全活用を組み合わせることで、擬似ラベルの品質を向上し、アライメントされたエンティティを近づける。
論文 参考訳(メタデータ) (2024-03-02T12:44:59Z) - SimMMDG: A Simple and Effective Framework for Multi-modal Domain
Generalization [13.456240733175767]
SimMMDGは、マルチモーダルシナリオにおけるドメインの一般化を実現する上での課題を克服するためのフレームワークである。
我々は,共同性を確保し,距離制約を課すために,モダリティ共有特徴に対する教師付きコントラスト学習を採用する。
本研究では,EPIC-KitchensデータセットとHuman-Animal-CartoonデータセットのマルチモーダルDGにおいて,理論的に支持され,高い性能を実現している。
論文 参考訳(メタデータ) (2023-10-30T17:58:09Z) - Unimodal Training-Multimodal Prediction: Cross-modal Federated Learning
with Hierarchical Aggregation [16.308470947384134]
HA-Fedformerは新しいトランスフォーマーベースのモデルで、クライアントでのアンモダルデータセットのみを使用して、単一モダルトレーニングを可能にする。
我々は,マルコフ連鎖モンテカルロサンプリングを用いた局所エンコーダの不確実性を考慮したアグリゲーション法を開発した。
一般的な感情分析ベンチマークであるCMU-MOSIとCMU-MOSEIの実験は、HA-Fedformerが最先端のマルチモーダルモデルを大幅に上回ることを示した。
論文 参考訳(メタデータ) (2023-03-27T07:07:33Z) - Multi-modal Contrastive Representation Learning for Entity Alignment [57.92705405276161]
マルチモーダルなエンティティアライメントは、2つの異なるマルチモーダルな知識グラフ間で等価なエンティティを識別することを目的としている。
マルチモーダルコントラスト学習に基づくエンティティアライメントモデルであるMCLEAを提案する。
特に、MCLEAはまず複数のモダリティから複数の個別表現を学習し、その後、モダリティ内およびモダリティ間相互作用を共同でモデル化するコントラスト学習を行う。
論文 参考訳(メタデータ) (2022-09-02T08:59:57Z) - Multi-Modal Mutual Information Maximization: A Novel Approach for
Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。
モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。
提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
論文 参考訳(メタデータ) (2021-12-13T08:58:03Z) - Meta Cross-Modal Hashing on Long-Tailed Data [47.64367056699699]
マルチモーダルデータの近接探索のために、クロスモーダルハッシュが広く研究されている。
本稿では,メタラーニングに基づくクロスモーダルハッシュ法を提案する。
長い尾を持つデータセットの実験では、MetaCMHは最先端の手法よりもはるかに優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2021-11-07T13:31:16Z) - Learning Multimodal VAEs through Mutual Supervision [72.77685889312889]
MEMEは、相互監督を通じて暗黙的にモダリティ間の情報を結合する。
我々は、MEMEが、部分的および完全観察スキームの双方で標準メトリクスのベースラインを上回ることを実証する。
論文 参考訳(メタデータ) (2021-06-23T17:54:35Z) - FedH2L: Federated Learning with Model and Statistical Heterogeneity [75.61234545520611]
フェデレートラーニング(FL)は、分散参加者が個々のデータのプライバシを犠牲にすることなく、強力なグローバルモデルを集合的に学習することを可能にする。
我々はFedH2Lを導入し、これはモデルアーキテクチャに非依存であり、参加者間で異なるデータ分散に対して堅牢である。
パラメータや勾配を共有するアプローチとは対照的に、FedH2Lは相互蒸留に依存し、参加者間で共有シードセットの後方のみを分散的に交換する。
論文 参考訳(メタデータ) (2021-01-27T10:10:18Z) - Private-Shared Disentangled Multimodal VAE for Learning of Hybrid Latent
Representations [24.3033562693679]
本稿では,複数モードのプライベートおよび共有潜在空間を分離するために,分散VAE戦略を利用した分散マルチモーダル変分オートエンコーダ(DMVAE)を提案する。
DMVAEの有用性を半教師付き学習タスクで実証し、モダリティの1つに部分的なデータラベルが含まれている。
いくつかのベンチマークで行った実験は、プライベートシェードな絡み合いとハイブリッドな潜伏表現の重要性を示している。
論文 参考訳(メタデータ) (2020-12-23T23:33:23Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳(メタデータ) (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。