Fugu-MT 論文翻訳(概要): Hybrid Hypergraph Networks for Multimodal Sequence Data Classification

論文の概要: Hybrid Hypergraph Networks for Multimodal Sequence Data Classification

arxiv url: http://arxiv.org/abs/2508.00926v1
Date: Wed, 30 Jul 2025 12:13:05 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-05 18:25:21.630286
Title: Hybrid Hypergraph Networks for Multimodal Sequence Data Classification
Title（参考訳）: マルチモーダルシーケンスデータ分類のためのハイブリッドハイパーグラフネットワーク
Authors: Feng Xu, Hui Wang, Yuting Huang, Danwei Zhang, Zizhu Fan,
Abstract要約: 本稿では,時間的マルチモーダルデータをセグメンテーションファースト,グラフ後処理によってモデル化するハイブリッドハイパーグラフネットワーク(HHN)を提案する。 HHNは4つのマルチモーダルデータセットに対して最先端の結果を達成し、複雑な分類タスクにおいてその有効性を示す。
参考スコア（独自算出の注目度）: 9.688069013427057
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Modeling temporal multimodal data poses significant challenges in classification tasks, particularly in capturing long-range temporal dependencies and intricate cross-modal interactions. Audiovisual data, as a representative example, is inherently characterized by strict temporal order and diverse modalities. Effectively leveraging the temporal structure is essential for understanding both intra-modal dynamics and inter-modal correlations. However, most existing approaches treat each modality independently and rely on shallow fusion strategies, which overlook temporal dependencies and hinder the model's ability to represent complex structural relationships. To address the limitation, we propose the hybrid hypergraph network (HHN), a novel framework that models temporal multimodal data via a segmentation-first, graph-later strategy. HHN splits sequences into timestamped segments as nodes in a heterogeneous graph. Intra-modal structures are captured via hyperedges guided by a maximum entropy difference criterion, enhancing node heterogeneity and structural discrimination, followed by hypergraph convolution to extract high-order dependencies. Inter-modal links are established through temporal alignment and graph attention for semantic fusion. HHN achieves state-of-the-art (SOTA) results on four multimodal datasets, demonstrating its effectiveness in complex classification tasks.
Abstract（参考訳）: 時間的マルチモーダルデータのモデリングは、特に長距離時間的依存関係のキャプチャや複雑な相互モーダル相互作用において、分類タスクにおいて重要な課題となる。音響視覚データは、代表的な例として、本質的には厳密な時間的順序と多彩なモーダル性によって特徴づけられる。時間構造を効果的に活用することは、モーダル内力学とモーダル間相関の両方を理解するのに不可欠である。しかし、既存のほとんどのアプローチは、それぞれのモダリティを独立して扱い、浅い融合戦略に依存しており、これは時間的依存を見落とし、複雑な構造的関係を表現するモデルの能力を妨げている。この制限に対処するために,セグメント化優先のグラフ遅延戦略を用いて時間的マルチモーダルデータをモデル化する新しいフレームワークであるハイブリッドハイパーグラフネットワーク(HHN)を提案する。 HHNは、配列をヘテロジニアスグラフのノードとしてタイムスタンプされたセグメントに分割する。モード内構造は、最大エントロピー差分基準、ノードの不均一性、構造的差別の強化、高次依存関係抽出のためのハイパーグラフ畳み込みによって誘導される。モーダル間リンクは、意味融合のための時間的アライメントとグラフ注意によって確立される。 HHNは4つのマルチモーダルデータセットに対して最先端のSOTA(State-of-the-art)結果を達成し、複雑な分類タスクにおけるその効果を実証する。

関連論文リスト

Multi-Scale Spatial-Temporal Self-Attention Graph Convolutional Networks for Skeleton-based Action Recognition [0.0]
本稿では,マルチスケール空間時間自己注意(MSST)-GCNという自己注意型GCNハイブリッドモデルを提案する。適応トポロジを持つ空間自己保持モジュールを用いて、異なる身体部分間のフレーム内相互作用を理解するとともに、時間的自己保持モジュールを用いてノードのフレーム間の相関関係を調べる。
論文参考訳（メタデータ） (2024-04-03T10:25:45Z)
TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
論文参考訳（メタデータ） (2024-01-06T06:26:49Z)
Hierarchical Joint Graph Learning and Multivariate Time Series Forecasting [0.16492989697868887]
本稿では,相互依存を示すエッジを持つグラフにおいて,多変量信号をノードとして表現する方法を提案する。我々はグラフニューラルネットワーク(GNN)とアテンションメカニズムを活用し、時系列データ内の基礎となる関係を効率的に学習する。提案モデルの有効性を,長期予測タスク用に設計された実世界のベンチマークデータセットで評価した。
論文参考訳（メタデータ） (2023-11-21T14:24:21Z)
MTS2Graph: Interpretable Multivariate Time Series Classification with Temporal Evolving Graphs [1.1756822700775666]
入力代表パターンを抽出・クラスタリングすることで時系列データを解釈する新しいフレームワークを提案する。 UCR/UEAアーカイブの8つのデータセットとHARとPAMデータセットで実験を行います。
論文参考訳（メタデータ） (2023-06-06T16:24:27Z)
Self-Supervised Temporal Graph learning with Temporal and Structural Intensity Alignment [53.72873672076391]
時間グラフ学習は、動的情報を用いたグラフベースのタスクのための高品質な表現を生成することを目的としている。本稿では,時間的および構造的情報の両方を抽出する時間的グラフ学習のためのS2Tという自己教師型手法を提案する。 S2Tは、いくつかのデータセットにおける最先端の競合と比較して、少なくとも10.13%のパフォーマンス改善を実現している。
論文参考訳（メタデータ） (2023-02-15T06:36:04Z)
Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
論文参考訳（メタデータ） (2022-07-20T07:26:15Z)
Learning the Evolutionary and Multi-scale Graph Structure for Multivariate Time Series Forecasting [50.901984244738806]
時系列の進化的・マルチスケール相互作用をモデル化する方法を示す。特に、まず、拡張畳み込みと協調して、スケール固有の相関を捉える階層グラフ構造を提供する。最終的な予測を得るために上記のコンポーネントを統合するために、統合ニューラルネットワークが提供される。
論文参考訳（メタデータ） (2022-06-28T08:11:12Z)
Joint Demand Prediction for Multimodal Systems: A Multi-task Multi-relational Spatiotemporal Graph Neural Network Approach [7.481812882780837]
本研究では,マルチモーダル需要予測のためのマルチリレーショナルグラフニューラルネットワーク(MRGNN)を提案する。マルチリレーショナルグラフニューラルネットワーク(MRGNN)を導入し,異種空間依存性を捉える。実験はニューヨーク市の実際のデータセットを用いて行われる。
論文参考訳（メタデータ） (2021-12-15T12:35:35Z)
Multi-Scale Semantics-Guided Neural Networks for Efficient Skeleton-Based Human Action Recognition [140.18376685167857]
スケルトンに基づく行動認識には,単純なマルチスケールセマンティクス誘導ニューラルネットワークが提案されている。 MS-SGNは、NTU60、NTU120、SYSUデータセットの最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2021-11-07T03:50:50Z)
Temporal Graph Modeling for Skeleton-based Action Recognition [25.788239844759246]
複雑な時間的ダイナミクスを捉えるための時間拡張グラフ畳み込みネットワーク(TE-GCN)を提案する。構築された時間関係グラフは、意味的に関連する時間的特徴間の接続を明示的に構築する。 2つの大規模データセットで実験を行う。
論文参考訳（メタデータ） (2020-12-16T09:02:47Z)
Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
論文参考訳（メタデータ） (2020-05-24T04:02:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。