論文の概要: Graph Capsule Aggregation for Unaligned Multimodal Sequences

• arxiv url: http://arxiv.org/abs/2108.07543v1
• Date: Tue, 17 Aug 2021 10:04:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-18 13:22:57.096332
• Title: Graph Capsule Aggregation for Unaligned Multimodal Sequences
• Title（参考訳）: 非整列マルチモーダル配列に対するグラフカプセルアグリゲーション
• Authors: Jianfeng Wu, Sijie Mai, Haifeng Hu
• Abstract要約: 本稿では,グラフベースのニューラルモデルとカプセルネットワークを用いた非整合マルチモーダルシーケンスをモデル化するために,Graph Capsule Aggregation(GraphCAGE)を導入する。 シーケンスデータをグラフに変換することにより、前述のRNNの問題を回避することができる。 さらに、Capsule Networkの集約機能とグラフベースの構造により、我々のモデルは解釈可能になり、長距離依存の問題をよりよく解決できる。
• 参考スコア（独自算出の注目度）: 16.679793708015534
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Humans express their opinions and emotions through multiple modalities which mainly consist of textual, acoustic and visual modalities. Prior works on multimodal sentiment analysis mostly apply Recurrent Neural Network (RNN) to model aligned multimodal sequences. However, it is unpractical to align multimodal sequences due to different sample rates for different modalities. Moreover, RNN is prone to the issues of gradient vanishing or exploding and it has limited capacity of learning long-range dependency which is the major obstacle to model unaligned multimodal sequences. In this paper, we introduce Graph Capsule Aggregation (GraphCAGE) to model unaligned multimodal sequences with graph-based neural model and Capsule Network. By converting sequence data into graph, the previously mentioned problems of RNN are avoided. In addition, the aggregation capability of Capsule Network and the graph-based structure enable our model to be interpretable and better solve the problem of long-range dependency. Experimental results suggest that GraphCAGE achieves state-of-the-art performance on two benchmark datasets with representations refined by Capsule Network and interpretation provided.
• Abstract（参考訳）: 人間は、主にテキスト、音響、視覚のモダリティで構成される複数のモダリティを通して意見や感情を表現する。 マルチモーダル感情分析に関する先行研究は、主にリカレントニューラルネットワーク(RNN)を用いて、アライメントされたマルチモーダルシーケンスをモデル化する。 しかし、異なるモダリティのサンプルレートが異なるため、マルチモーダルシーケンスを整列することは現実的ではない。 さらに、RNNは勾配の消滅や爆発といった問題に悩まされがちであり、非整合なマルチモーダルシーケンスをモデル化する上で大きな障害となる長距離依存の学習能力に制限がある。 本稿では,グラフベースニューラルモデルとカプセルネットワークを用いたマルチモーダルシーケンスをモデル化するためのグラフカプセル凝集(graphcage)を提案する。 シーケンスデータをグラフに変換することにより、前述のRNNの問題を回避することができる。 さらに,カプセルネットワークの集約性とグラフベースの構造により,モデルが解釈可能であり,長距離依存の問題をよりよく解くことができる。 実験結果から,GraphCAGEは2つのベンチマークデータセットに対して,Capsule Networkによる表現の洗練と解釈によって,最先端のパフォーマンスを実現することが示唆された。

関連論文リスト

• MTS2Graph: Interpretable Multivariate Time Series Classification with Temporal Evolving Graphs [1.1756822700775666]
  入力代表パターンを抽出・クラスタリングすることで時系列データを解釈する新しいフレームワークを提案する。 UCR/UEAアーカイブの8つのデータセットとHARとPAMデータセットで実験を行います。
  論文  参考訳（メタデータ） (2023-06-06T16:24:27Z)
• AGNN: Alternating Graph-Regularized Neural Networks to Alleviate Over-Smoothing [29.618952407794776]
  グラフ畳み込み層(GCL)とグラフ埋め込み層(GEL)からなる交代グラフ正規化ニューラルネットワーク(AGNN)を提案する。 GELはラプラシアン埋め込み項を含むグラフ正規化最適化から導かれる。 AGNNは、いくつかの多層または多次グラフニューラルネットワークのパフォーマンス比較を含む、多数の実験を通じて評価されている。
  論文  参考訳（メタデータ） (2023-04-14T09:20:03Z)
• MGNNI: Multiscale Graph Neural Networks with Implicit Layers [53.75421430520501]
  暗黙グラフニューラルネットワーク(GNN)は、基礎となるグラフの長距離依存性をキャプチャするために提案されている。 暗黙的GNNの2つの弱点は、長距離依存を捉えるための限られた有効範囲による制約付き表現性と、複数の解像度でグラフ上のマルチスケール情報をキャプチャする能力の欠如である。 グラフ上のマルチスケール構造をモデル化できる暗黙の層(MGNNI)を持つマルチスケールグラフニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-15T18:18:55Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
  グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。 この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-02-22T08:16:58Z)
• Multiplex Graph Networks for Multimodal Brain Network Analysis [30.195666008281915]
  我々は,マルチモーダル脳ネットワーク解析のための簡易かつ効果的な多重グラフ畳み込みネットワーク(GCN)モデルMGNetを提案する。 現実の2つの挑戦的データセット(HIVと双極性障害)の分類タスクを行う。
  論文  参考訳（メタデータ） (2021-07-31T06:01:29Z)
• Explicit Pairwise Factorized Graph Neural Network for Semi-Supervised Node Classification [59.06717774425588]
  本稿では,グラフ全体を部分的に観測されたマルコフ確率場としてモデル化するEPFGNN(Explicit Pairwise Factorized Graph Neural Network)を提案する。 出力-出力関係をモデル化するための明示的なペアワイズ要素を含み、入力-出力関係をモデル化するためにGNNバックボーンを使用する。 本研究では,グラフ上での半教師付きノード分類の性能を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2021-07-27T19:47:53Z)
• Analyzing Unaligned Multimodal Sequence via Graph Convolution and Graph Pooling Fusion [28.077474663199062]
  本稿では,マルチモーダルシーケンシャルデータモデリングにおけるグラフニューラルネットワーク(GNN)の有効性を検討するために,マルチモーダルグラフと呼ばれる新しいモデルを提案する。 グラフベースのモデルは、2つのベンチマークデータセット上で最先端のパフォーマンスに達する。
  論文  参考訳（メタデータ） (2020-11-27T06:12:14Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
  多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。 グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。 提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-24T04:02:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。