論文の概要: Cross-Modal and Multimodal Data Analysis Based on Functional Mapping of
Spectral Descriptors and Manifold Regularization
- arxiv url: http://arxiv.org/abs/2105.05631v1
- Date: Wed, 12 May 2021 13:00:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-13 19:05:20.879550
- Title: Cross-Modal and Multimodal Data Analysis Based on Functional Mapping of
Spectral Descriptors and Manifold Regularization
- Title（参考訳）: スペクトル記述子と多様体正規化の関数マッピングに基づくクロスモーダルおよびマルチモーダルデータ解析
- Authors: Maysam Behmanesh, Peyman Adibi, Jocelyn Chanussot, Sayyed Mohammad
Saeed Ehsani
- Abstract要約: 本研究は2つの新しいマルチモーダルモデリング手法を提案する。
第1の方法は、異種データに対するマルチモーダル情報問題に対処する汎用分析フレームワークを確立する。
第2の方法は、点対応に基づく多様体正規化マルチモーダル分類である。
- 参考スコア（独自算出の注目度）: 21.06669693699965
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal manifold modeling methods extend the spectral geometry-aware data
analysis to learning from several related and complementary modalities. Most of
these methods work based on two major assumptions: 1) there are the same number
of homogeneous data samples in each modality, and 2) at least partial
correspondences between modalities are given in advance as prior knowledge.
This work proposes two new multimodal modeling methods. The first method
establishes a general analyzing framework to deal with the multimodal
information problem for heterogeneous data without any specific prior
knowledge. For this purpose, first, we identify the localities of each manifold
by extracting local descriptors via spectral graph wavelet signatures (SGWS).
Then, we propose a manifold regularization framework based on the functional
mapping between SGWS descriptors (FMBSD) for finding the pointwise
correspondences. The second method is a manifold regularized multimodal
classification based on pointwise correspondences (M$^2$CPC) used for the
problem of multiclass classification of multimodal heterogeneous, which the
correspondences between modalities are determined based on the FMBSD method.
The experimental results of evaluating the FMBSD method on three common
cross-modal retrieval datasets and evaluating the (M$^2$CPC) method on three
benchmark multimodal multiclass classification datasets indicate their
effectiveness and superiority over state-of-the-art methods.
- Abstract（参考訳）: マルチモーダル多様体モデリング手法は、スペクトル幾何対応データ解析を、関連するいくつかの相補的モダリティから学習へと拡張する。
これらの手法のほとんどは、2つの主要な仮定に基づいている: 1)各モダリティに同じ種類のデータサンプルがあり、2)モダリティ間の少なくとも部分対応が事前の知識として与えられている。
本研究は2つの新しいマルチモーダルモデリング手法を提案する。
第1の方法は、特定の事前知識を伴わずに異種データのマルチモーダル情報問題に対処する一般的な分析フレームワークを確立する。
この目的のために、まず、スペクトルグラフウェーブレットシグネチャ(SGWS)を用いて局所記述子を抽出することにより、各多様体の局所性を同定する。
そこで我々は,SGWS記述子 (FMBSD) 間の関数マッピングに基づいて,点対応を見つけるための多様体正規化フレームワークを提案する。
第2の方法は、FMBSD法に基づいてモダリティ間の対応を決定するマルチモーダル不均質のマルチクラス分類問題に使用されるポイントワイド対応(M$^2$CPC)に基づく多様体正規化多重モーダル分類である。
FMBSD法を3つの共通なクロスモーダル検索データセットで評価し,M$^2$CPC法を3つのベンチマークマルチモーダル・マルチクラス分類データセットで評価した結果,その有効性と優位性を示した。
関連論文リスト
- Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。
我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。
これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
論文 参考訳（メタデータ） (2024-03-01T15:14:47Z) - Mixture of multilayer stochastic block models for multiview clustering [0.0]
本稿では,異なる情報源から得られた複数のクラスタリングを集約する独自の手法を提案する。
モデルパラメータの同定可能性を確立し,これらのパラメータを推定するために変分ベイズEMアルゴリズムを提案する。
この手法は、グローバルな食品取引網の分析に利用され、興味のある構造に繋がる。
論文 参考訳（メタデータ） (2024-01-09T17:15:47Z) - Convolutional autoencoder-based multimodal one-class classification [80.52334952912808]
1クラス分類は、単一のクラスからのデータを用いた学習のアプローチを指す。
マルチモーダルデータに適した深層学習一クラス分類法を提案する。
論文 参考訳（メタデータ） (2023-09-25T12:31:18Z) - Generalized Product-of-Experts for Learning Multimodal Representations
in Noisy Environments [18.14974353615421]
本稿では,エキスパート手法の一般化による雑音環境下でのマルチモーダル表現学習手法を提案する。
提案手法では,モダリティ毎に異なるネットワークをトレーニングし,そのモダリティから得られる情報の信頼性を評価する。
マルチモーダル3Dハンドプレース推定とマルチモーダル手術ビデオセグメンテーションという,2つの挑戦的なベンチマークで最先端のパフォーマンスを得た。
論文 参考訳（メタデータ） (2022-11-07T14:27:38Z) - Unified Multi-View Orthonormal Non-Negative Graph Based Clustering
Framework [74.25493157757943]
我々は,非負の特徴特性を活用し,多視点情報を統合された共同学習フレームワークに組み込む,新しいクラスタリングモデルを定式化する。
また、深層機能に基づいたクラスタリングデータに対するマルチモデル非負グラフベースのアプローチを初めて検討する。
論文 参考訳（メタデータ） (2022-11-03T08:18:27Z) - Consistency and Diversity induced Human Motion Segmentation [231.36289425663702]
本稿では,CDMS(Consistency and Diversity induced Human Motion)アルゴリズムを提案する。
我々のモデルは、ソースとターゲットデータを異なる多層特徴空間に分解する。
ソースとターゲットデータ間の領域ギャップを低減するために、マルチミューチュアル学習戦略を実行する。
論文 参考訳（メタデータ） (2022-02-10T06:23:56Z) - Geometric Multimodal Deep Learning with Multi-Scaled Graph Wavelet
Convolutional Network [21.06669693699965]
マルチモーダルデータは、非常に異なる統計特性を持つ様々な領域のデータを統合することで、自然現象に関する情報を提供する。
マルチモーダルデータのモダリティ内およびモダリティ間情報の取得は,マルチモーダル学習法の基本的能力である。
非ユークリッド領域にディープラーニング手法を一般化することは、新たな研究分野である。
論文 参考訳（メタデータ） (2021-11-26T08:41:51Z) - Multivariate feature ranking of gene expression data [62.997667081978825]
ペアワイズ相関とペアワイズ整合性に基づく2つの新しい多変量特徴ランキング手法を提案する。
提案手法は, クラスタリング変動, チ・スクエアド, 相関, 情報ゲイン, ReliefF および Significance の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-11-03T17:19:53Z) - Quantile-based fuzzy C-means clustering of multivariate time series:
Robust techniques [2.3226893628361682]
外れ値の存在に対するロバスト性は、いわゆるメートル法、ノイズ、トリミングアプローチを用いて達成される。
シミュレーション実験の結果,アルゴリズムは外部系列の存在に対処する上で極めて有効であることが示唆された。
論文 参考訳（メタデータ） (2021-09-22T20:26:12Z) - Quantile-based fuzzy clustering of multivariate time series in the
frequency domain [2.610470075814367]
ファジィC平均とファジィCメロイドアルゴリズムを提案する。
提案手法の性能を広範囲にわたるシミュレーション研究で評価した。
航空品質と財務データベースに関する2つの具体的な応用は、我々のアプローチの有用性を示している。
論文 参考訳（メタデータ） (2021-09-08T15:38:33Z) - Manifold Topology Divergence: a Framework for Comparing Data Manifolds [109.0784952256104]
本研究では,深部生成モデルの評価を目的としたデータ多様体の比較フレームワークを開発する。
クロスバーコードに基づき,manifold Topology Divergence score(MTop-Divergence)を導入する。
MTop-Divergenceは,様々なモードドロップ,モード内崩壊,モード発明,画像乱れを正確に検出する。
論文 参考訳（メタデータ） (2021-06-08T00:30:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。