論文の概要: Alternative Telescopic Displacement: An Efficient Multimodal Alignment
Method
- arxiv url: http://arxiv.org/abs/2306.16950v1
- Date: Thu, 29 Jun 2023 13:49:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-30 13:07:27.890642
- Title: Alternative Telescopic Displacement: An Efficient Multimodal Alignment
Method
- Title(参考訳): オルタナティブ・テレスコープ・アライメント:効率的なマルチモーダルアライメント法
- Authors: Jiahao Qin and Yitao Xu and Zihong Luo Chengzhi Liu and Zong Lu and
Xiaojun Zhang
- Abstract要約: マルチモーダル情報を完全に融合する特徴アライメント手法を提案する。
提案手法は,異なるモダリティの特徴間の高レベル相互作用を強固に捉えることができる。
- 参考スコア(独自算出の注目度): 2.4754083311339454
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Feature alignment is the primary means of fusing multimodal data. We propose
a feature alignment method that fully fuses multimodal information, which
alternately shifts and expands feature information from different modalities to
have a consistent representation in a feature space. The proposed method can
robustly capture high-level interactions between features of different
modalities, thus significantly improving the performance of multimodal
learning. We also show that the proposed method outperforms other popular
multimodal schemes on multiple tasks. Experimental evaluation of ETT and
MIT-BIH-Arrhythmia, datasets shows that the proposed method achieves state of
the art performance.
- Abstract(参考訳): 特徴アライメントは、マルチモーダルデータを融合する主要な手段である。
本稿では,特徴情報を異なるモダリティから交互にシフト・拡張し,特徴空間に一貫した表現を持つマルチモーダル情報を完全に融合する特徴アライメント手法を提案する。
提案手法は,異なるモーダル特徴間の高レベル相互作用を頑健に捉え,マルチモーダル学習の性能を大幅に向上させることができる。
また,提案手法は,複数のタスクにおいて他の一般的なマルチモーダルスキームよりも優れていることを示す。
ETTとMIT-BIH-Arrhythmiaの実験的評価により,提案手法が技術性能の状態を達成していることを示す。
関連論文リスト
- Multimodal Representation Learning by Alternating Unimodal Adaptation [79.9201824151389]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。
MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。
共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。
推論フェーズの間、MLAはテスト時間不確実性に基づくモデル融合機構を使用して、マルチモーダル情報を統合する。
論文 参考訳(メタデータ) (2023-11-17T18:57:40Z) - Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳(メタデータ) (2023-09-22T06:55:41Z) - MMSFormer: Multimodal Transformer for Material and Semantic Segmentation [18.17649683468377]
本稿では,異なるモダリティの組み合わせから情報を効果的に融合できる新しい融合戦略を提案する。
また,MMSFormer(Multi-Modal TransFormer)と呼ばれる新たなモデルを提案する。
MMSFormerは、現在の最先端モデルを3つの異なるデータセットで上回る。
論文 参考訳(メタデータ) (2023-09-07T20:07:57Z) - MM-GEF: Multi-modal representation meet collaborative filtering [51.04679619309803]
本稿では,グラフアーリーフュージョンを用いたマルチモーダルレコメンデーション MM-GEF を提案する。
MM-GEFはマルチモーダル信号と協調信号の両方から得られる構造情報を注入することにより、洗練された項目表現を学習する。
論文 参考訳(メタデータ) (2023-08-14T15:47:36Z) - Generalizing Multimodal Variational Methods to Sets [35.69942798534849]
本稿では,マルチモーダル潜在空間を学習するために,Set Multimodal VAE(SMVAE)と呼ばれる新しい変分法を提案する。
共同モダリティ後部分布を直接モデル化することにより、提案したSMVAEは、複数のモダリティ間で情報を交換し、分解による欠点を補うことを学習する。
論文 参考訳(メタデータ) (2022-12-19T23:50:19Z) - Generalized Product-of-Experts for Learning Multimodal Representations
in Noisy Environments [18.14974353615421]
本稿では,エキスパート手法の一般化による雑音環境下でのマルチモーダル表現学習手法を提案する。
提案手法では,モダリティ毎に異なるネットワークをトレーニングし,そのモダリティから得られる情報の信頼性を評価する。
マルチモーダル3Dハンドプレース推定とマルチモーダル手術ビデオセグメンテーションという,2つの挑戦的なベンチマークで最先端のパフォーマンスを得た。
論文 参考訳(メタデータ) (2022-11-07T14:27:38Z) - Consistency and Diversity induced Human Motion Segmentation [231.36289425663702]
本稿では,CDMS(Consistency and Diversity induced Human Motion)アルゴリズムを提案する。
我々のモデルは、ソースとターゲットデータを異なる多層特徴空間に分解する。
ソースとターゲットデータ間の領域ギャップを低減するために、マルチミューチュアル学習戦略を実行する。
論文 参考訳(メタデータ) (2022-02-10T06:23:56Z) - Multi-Modal Mutual Information Maximization: A Novel Approach for
Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。
モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。
提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
論文 参考訳(メタデータ) (2021-12-13T08:58:03Z) - Abstractive Sentence Summarization with Guidance of Selective Multimodal
Reference [3.505062507621494]
モーダル間の相互関係を考慮したマルチモーダル階層選択変換器(mhsf)モデルを提案する。
提案したmhsfモデルの汎用性を,事前学習+微調整および新鮮トレーニング戦略を用いて評価した。
論文 参考訳(メタデータ) (2021-08-11T09:59:34Z) - Deep Multimodal Fusion by Channel Exchanging [87.40768169300898]
本稿では,異なるモードのサブネットワーク間で動的にチャネルを交換するパラメータフリーマルチモーダル融合フレームワークを提案する。
このような交換プロセスの有効性は、畳み込みフィルタを共有してもBN層をモダリティで分離しておくことで保証される。
論文 参考訳(メタデータ) (2020-11-10T09:53:20Z) - Learning Inter- and Intra-manifolds for Matrix Factorization-based
Multi-Aspect Data Clustering [3.756550107432323]
近年,マルチビューやマルチタイプリレーショナルデータなど,複数の側面を持つデータのクラスタリングが普及している。
我々は,データクラスタリングのための多種多様な多様体を学習するために,異なるデータ型(またはビュー)のデータポイントの距離情報を利用するNMFフレームワークに多様体を組み込むことを提案する。
いくつかのデータセットの結果から,提案手法は精度と効率の両面において,最先端のマルチアスペクトデータクラスタリング手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2020-09-07T02:21:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。