論文の概要: SHMamba: Structured Hyperbolic State Space Model for Audio-Visual Question Answering
- arxiv url: http://arxiv.org/abs/2406.09833v2
- Date: Fri, 21 Jun 2024 03:13:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-24 18:57:27.938935
- Title: SHMamba: Structured Hyperbolic State Space Model for Audio-Visual Question Answering
- Title（参考訳）: SHMamba:オーディオ・ビジュアル質問応答のための構造的双曲的状態空間モデル
- Authors: Zhe Yang, Wenrui Li, Guanghui Cheng,
- Abstract要約: AVQA(Audio-Visual Question Answering)のマルチモーダル入力により,特徴抽出と融合処理がより困難になる。
我々は、双曲幾何学と状態空間モデルの利点を統合するために、構造化双曲状態空間モデル(SHMamba: Structured Hyperbolic State Space Model)を提案する。
提案手法は,現行のすべての主要な手法の優越性を実証し,実用的なアプリケーションシナリオに適した方法である。
- 参考スコア（独自算出の注目度）: 5.016335384639901
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Audio-Visual Question Answering (AVQA) task holds significant potential for applications. Compared to traditional unimodal approaches, the multi-modal input of AVQA makes feature extraction and fusion processes more challenging. Euclidean space is difficult to effectively represent multi-dimensional relationships of data. Especially when extracting and processing data with a tree structure or hierarchical structure, Euclidean space is not suitable as an embedding space. Additionally, the self-attention mechanism in Transformers is effective in capturing the dynamic relationships between elements in a sequence. However, the self-attention mechanism's limitations in window modeling and quadratic computational complexity reduce its effectiveness in modeling long sequences. To address these limitations, we propose SHMamba: Structured Hyperbolic State Space Model to integrate the advantages of hyperbolic geometry and state space models. Specifically, SHMamba leverages the intrinsic properties of hyperbolic space to represent hierarchical structures and complex relationships in audio-visual data. Meanwhile, the state space model captures dynamic changes over time by globally modeling the entire sequence. Furthermore, we introduce an adaptive curvature hyperbolic alignment module and a cross fusion block to enhance the understanding of hierarchical structures and the dynamic exchange of cross-modal information, respectively. Extensive experiments demonstrate that SHMamba outperforms previous methods with fewer parameters and computational costs. Our learnable parameters are reduced by 78.12\%, while the average performance improves by 2.53\%. Experiments show that our method demonstrates superiority among all current major methods and is more suitable for practical application scenarios.
- Abstract（参考訳）: AVQA(Audio-Visual Question Answering)タスクは、アプリケーションにとって大きな可能性を秘めている。
従来のユニモーダルアプローチと比較して、AVQAのマルチモーダル入力は特徴抽出と融合プロセスをより困難にする。
ユークリッド空間は、データの多次元関係を効果的に表現することは困難である。
特に木構造や階層構造でデータを抽出・処理する場合、ユークリッド空間は埋め込み空間には適さない。
さらに、トランスフォーマーの自己保持機構は、シーケンス内の要素間の動的関係を捉えるのに有効である。
しかし、ウィンドウモデリングと2次計算複雑性における自己注意機構の限界は、長いシーケンスをモデル化する際の効率を低下させる。
これらの制約に対処するため、我々はSHMamba: Structured Hyperbolic State Space Modelを提案し、双曲幾何学と状態空間モデルの利点を統合する。
具体的には、SHMambaは双曲空間の内在的性質を利用して、階層構造と音声・視覚データにおける複雑な関係を表現する。
一方、状態空間モデルは、全シーケンスをグローバルにモデル化することで、時間とともに動的な変化を捉えます。
さらに,適応的な曲率双曲アライメントモジュールとクロスフュージョンブロックを導入し,階層構造の理解とクロスモーダル情報の動的交換を強化する。
SHMambaはより少ないパラメータと計算コストで従来の手法より優れていることを示した。
学習可能なパラメータは78.12\%削減され、平均性能は2.53\%向上した。
実験の結果,本手法は現在のすべての主要な手法よりも優れており,実用的なアプリケーションシナリオに適していることがわかった。
関連論文リスト
- Topological Deep Learning with State-Space Models: A Mamba Approach for Simplicial Complexes [4.787059527893628]
本稿では,Mamba状態空間モデルをバックボーンとして利用して,単純な複素数を扱うように設計された新しいアーキテクチャを提案する。
提案手法は, 隣接セルをベースとしたノードのシーケンスを生成し, ランクに関わらず, 上位構造間の直接通信を可能にする。
論文 参考訳（メタデータ） (2024-09-18T14:49:25Z) - From Semantics to Hierarchy: A Hybrid Euclidean-Tangent-Hyperbolic Space Model for Temporal Knowledge Graph Reasoning [1.1372536310854844]
時間的知識グラフ(TKG)推論は、過去のデータに基づいて将来の出来事を予測する。
既存のユークリッドモデルはセマンティクスを捉えるのに優れているが、階層構造に苦しむ。
ユークリッドモデルと双曲モデルの両方の強みを利用する新しいハイブリッド幾何空間アプローチを提案する。
論文 参考訳（メタデータ） (2024-08-30T10:33:08Z) - GrootVL: Tree Topology is All You Need in State Space Model [66.36757400689281]
GrootVLは、視覚的タスクとテキストタスクの両方に適用できる多目的マルチモーダルフレームワークである。
本手法は, 画像分類, オブジェクト検出, セグメンテーションにおいて, 既存の構造化状態空間モデルよりも大幅に優れる。
大規模言語モデルの微調整により,本手法は訓練コストの少ない複数のテキストタスクにおいて一貫した改善を実現する。
論文 参考訳（メタデータ） (2024-06-04T15:09:29Z) - Deciphering Movement: Unified Trajectory Generation Model for Multi-Agent [53.637837706712794]
任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。
具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを導入する。
バスケットボール-U,サッカー-U,サッカー-Uの3つの実用的なスポーツゲームデータセットをベンチマークして評価を行った。
論文 参考訳（メタデータ） (2024-05-27T22:15:23Z) - LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
自己保持機構の計算コストは、長いシーケンスの実用性を制限する。
我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。
LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
論文 参考訳（メタデータ） (2024-04-17T08:26:34Z) - Theoretical Foundations of Deep Selective State-Space Models [13.971499161967083]
ディープSSMは、さまざまなドメインセットで優れたパフォーマンスを示す。
最近の研究で、線形リカレンス電力が入力と隠れ状態の間の乗法的相互作用を可能にすることが示されている。
ランダム線形再帰が単純な入力制御遷移を備える場合、隠れ状態は強力な数学的対象の低次元射影であることを示す。
論文 参考訳（メタデータ） (2024-02-29T11:20:16Z) - Orchid: Flexible and Data-Dependent Convolution for Sequence Modeling [4.190836962132713]
本稿では,従来の注意機構の2次複雑さに対処する新しいアーキテクチャであるOrchidを紹介する。
このアーキテクチャのコアには、新しいデータ依存のグローバル畳み込み層があり、入力シーケンスに条件付きカーネルを文脈的に適応させる。
言語モデリングや画像分類など,複数の領域にまたがるモデルの評価を行い,その性能と汎用性を強調した。
論文 参考訳（メタデータ） (2024-02-28T17:36:45Z) - Convolutional State Space Models for Long-Range Spatiotemporal Modeling [65.0993000439043]
ConvS5は、長距離時間モデリングのための効率的な変種である。
トランスフォーマーとConvNISTTMは、長い水平移動実験において、ConvLSTMより3倍速く、トランスフォーマーより400倍速くサンプルを生成する一方で、大幅に性能が向上した。
論文 参考訳（メタデータ） (2023-10-30T16:11:06Z) - Disentangling and Unifying Graph Convolutions for Skeleton-Based Action
Recognition [79.33539539956186]
本稿では,マルチスケールグラフ畳み込みと,G3Dという空間時間グラフ畳み込み演算子を結合する簡単な方法を提案する。
これらの提案を結合することにより,MS-G3Dという強力な特徴抽出器を開発し,そのモデルが3つの大規模データセット上で従来の最先端手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-03-31T11:28:25Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。