論文の概要: Geometric Multimodal Deep Learning with Multi-Scaled Graph Wavelet Convolutional Network

• arxiv url: http://arxiv.org/abs/2111.13361v1
• Date: Fri, 26 Nov 2021 08:41:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 22:55:28.417061
• Title: Geometric Multimodal Deep Learning with Multi-Scaled Graph Wavelet Convolutional Network
• Title（参考訳）: マルチスケールグラフウェーブレット畳み込みネットワークを用いた幾何学的マルチモーダル深層学習
• Authors: Maysam Behmanesh, Peyman Adibi, Mohammad Saeed Ehsani, Jocelyn Chanussot
• Abstract要約: マルチモーダルデータは、非常に異なる統計特性を持つ様々な領域のデータを統合することで、自然現象に関する情報を提供する。 マルチモーダルデータのモダリティ内およびモダリティ間情報の取得は,マルチモーダル学習法の基本的能力である。 非ユークリッド領域にディープラーニング手法を一般化することは、新たな研究分野である。
• 参考スコア（独自算出の注目度）: 21.06669693699965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal data provide complementary information of a natural phenomenon by integrating data from various domains with very different statistical properties. Capturing the intra-modality and cross-modality information of multimodal data is the essential capability of multimodal learning methods. The geometry-aware data analysis approaches provide these capabilities by implicitly representing data in various modalities based on their geometric underlying structures. Also, in many applications, data are explicitly defined on an intrinsic geometric structure. Generalizing deep learning methods to the non-Euclidean domains is an emerging research field, which has recently been investigated in many studies. Most of those popular methods are developed for unimodal data. In this paper, a multimodal multi-scaled graph wavelet convolutional network (M-GWCN) is proposed as an end-to-end network. M-GWCN simultaneously finds intra-modality representation by applying the multiscale graph wavelet transform to provide helpful localization properties in the graph domain of each modality, and cross-modality representation by learning permutations that encode correlations among various modalities. M-GWCN is not limited to either the homogeneous modalities with the same number of data, or any prior knowledge indicating correspondences between modalities. Several semi-supervised node classification experiments have been conducted on three popular unimodal explicit graph-based datasets and five multimodal implicit ones. The experimental results indicate the superiority and effectiveness of the proposed methods compared with both spectral graph domain convolutional neural networks and state-of-the-art multimodal methods.
• Abstract（参考訳）: マルチモーダルデータは、異なる統計特性を持つ様々な領域のデータを統合することで、自然現象の相補的な情報を提供する。 マルチモーダルデータのモダリティ内およびモダリティ間情報の取得は,マルチモーダル学習法の基本的能力である。 幾何学的データ分析アプローチは、幾何学的基盤構造に基づいて、様々なモードでデータを暗黙的に表現することで、これらの機能を提供する。 また、多くの応用において、データは内在的な幾何学構造上で明示的に定義される。 非ユークリッド領域へのディープラーニング手法の一般化は、近年多くの研究で研究されている新しい研究分野である。 これらの一般的な手法の多くはユニモーダルデータのために開発されている。 本稿では,マルチモーダルなマルチスケールグラフウェーブレット畳み込みネットワーク(M-GWCN)をエンドツーエンドネットワークとして提案する。 M-GWCNは、マルチスケールグラフウェーブレット変換を適用して、各モダリティのグラフ領域における有用なローカライズ特性を提供し、様々なモダリティ間の相関を符号化する置換を学習することにより、モダリティ内表現を同時に見つける。 M-GWCNは、同じ数のデータを持つ同種モダリティや、モダリティ間の対応を示す事前知識に制限されない。 半教師付きノード分類実験は、3つの一般的なユニモーダルなグラフベースのデータセットと5つのマルチモーダル暗黙的なデータセットで行われている。 実験結果は,スペクトルグラフ領域畳み込みニューラルネットワークと最先端のマルチモーダル手法とを比較し,提案手法の優劣と有効性を示した。

関連論文リスト

• Enhancing Deep Learning Models through Tensorization: A Comprehensive Survey and Framework [0.0]
  本稿では,多次元データソース,様々なマルチウェイ解析手法,およびこれらの手法の利点について考察する。 2次元アルゴリズムとPythonのマルチウェイアルゴリズムを比較したBlind Source separation(BSS)の小さな例を示す。 その結果,マルチウェイ解析の方が表現力が高いことが示唆された。
  論文  参考訳（メタデータ） (2023-09-05T17:56:22Z)
• Generalized Product-of-Experts for Learning Multimodal Representations in Noisy Environments [18.14974353615421]
  本稿では,エキスパート手法の一般化による雑音環境下でのマルチモーダル表現学習手法を提案する。 提案手法では,モダリティ毎に異なるネットワークをトレーニングし,そのモダリティから得られる情報の信頼性を評価する。 マルチモーダル3Dハンドプレース推定とマルチモーダル手術ビデオセグメンテーションという,2つの挑戦的なベンチマークで最先端のパフォーマンスを得た。
  論文  参考訳（メタデータ） (2022-11-07T14:27:38Z)
• Convolutional Learning on Multigraphs [153.20329791008095]
  我々は、多グラフ上の畳み込み情報処理を開発し、畳み込み多グラフニューラルネットワーク(MGNN)を導入する。 情報拡散の複雑なダイナミクスを多グラフのエッジのクラス間で捉えるために、畳み込み信号処理モデルを定式化する。 我々は,計算複雑性を低減するため,サンプリング手順を含むマルチグラフ学習アーキテクチャを開発した。 導入されたアーキテクチャは、最適な無線リソース割り当てとヘイトスピーチローカライゼーションタスクに適用され、従来のグラフニューラルネットワークよりも優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2022-09-23T00:33:04Z)
• Geometric multimodal representation learning [13.159512679346687]
  マルチモーダル学習手法は、複数のデータモダリティを融合し、この課題に対処する。 この分類に基づいてマルチモーダルグラフ学習のためのアルゴリズム的青写真を作成する。 この取り組みは、高度に複雑な実世界の問題に対して洗練されたマルチモーダルアーキテクチャの設計を標準化する道を開くことができる。
  論文  参考訳（メタデータ） (2022-09-07T16:59:03Z)
• Consistency and Diversity induced Human Motion Segmentation [231.36289425663702]
  本稿では,CDMS(Consistency and Diversity induced Human Motion)アルゴリズムを提案する。 我々のモデルは、ソースとターゲットデータを異なる多層特徴空間に分解する。 ソースとターゲットデータ間の領域ギャップを低減するために、マルチミューチュアル学習戦略を実行する。
  論文  参考訳（メタデータ） (2022-02-10T06:23:56Z)
• A graph representation based on fluid diffusion model for multimodal data analysis: theoretical aspects and enhanced community detection [14.601444144225875]
  流体拡散に基づくグラフ定義の新しいモデルを提案する。 本手法は,マルチモーダルデータ解析において,コミュニティ検出のための最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-12-07T16:30:03Z)
• Multiplex Graph Networks for Multimodal Brain Network Analysis [30.195666008281915]
  我々は,マルチモーダル脳ネットワーク解析のための簡易かつ効果的な多重グラフ畳み込みネットワーク(GCN)モデルMGNetを提案する。 現実の2つの挑戦的データセット(HIVと双極性障害)の分類タスクを行う。
  論文  参考訳（メタデータ） (2021-07-31T06:01:29Z)
• Manifold Topology Divergence: a Framework for Comparing Data Manifolds [109.0784952256104]
  本研究では,深部生成モデルの評価を目的としたデータ多様体の比較フレームワークを開発する。 クロスバーコードに基づき,manifold Topology Divergence score(MTop-Divergence)を導入する。 MTop-Divergenceは,様々なモードドロップ,モード内崩壊,モード発明,画像乱れを正確に検出する。
  論文  参考訳（メタデータ） (2021-06-08T00:30:43Z)
• A Multi-Semantic Metapath Model for Large Scale Heterogeneous Network Representation Learning [52.83948119677194]
  大規模不均一表現学習のためのマルチセマンティックメタパス(MSM)モデルを提案する。 具体的には,マルチセマンティックなメタパスに基づくランダムウォークを生成し,不均衡な分布を扱うヘテロジニアスな近傍を構築する。 提案するフレームワークに対して,AmazonとAlibabaの2つの挑戦的なデータセットに対して,体系的な評価を行う。
  論文  参考訳（メタデータ） (2020-07-19T22:50:20Z)
• MS-Net: Multi-Site Network for Improving Prostate Segmentation with Heterogeneous MRI Data [75.73881040581767]
  本稿では,ロバスト表現を学習し,前立腺のセグメンテーションを改善するための新しいマルチサイトネットワーク(MS-Net)を提案する。 当社のMS-Netは,すべてのデータセットのパフォーマンスを一貫して改善し,マルチサイト学習における最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2020-02-09T14:11:50Z)
• Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
  本稿では,不対向画像分割のための新しい学習手法を提案する。 提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。 我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2020-01-06T20:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。