論文の概要: MSGAT: Multi-Head Spiking Graph Attention with Similarity-Space Fusion for Image-Text Retrieval

• arxiv url: http://arxiv.org/abs/2610.11526v1
• Date: Thu, 08 Oct 2026 08:56:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.906819
• Title: MSGAT: Multi-Head Spiking Graph Attention with Similarity-Space Fusion for Image-Text Retrieval
• Title（参考訳）: MSGAT:画像テキスト検索のための類似空間融合によるマルチヘッドスパイクグラフアテンション
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、スパースイベント駆動計算によるエネルギー効率の高い計算パラダイムを提供する。 画像テキスト検索(ITR)のような高レベルのマルチモーダルタスクにSNNを適用することは依然として困難である。 粗さときめ細かなマッチング関係を統合した類似性空間の融合アライメント戦略である textbfSim-Fuse を導入する。
• 参考スコア（独自算出の注目度）: 73.03281886969113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking neural networks (SNNs) offer an energy-efficient computing paradigm through sparse event-driven computation, showing great potential for efficient multimodal learning. However, applying SNNs to high-level multimodal tasks, such as image-text retrieval (ITR), remains challenging, since sparse spike representations make it difficult to capture semantic structures required for cross-modal alignment. Existing spiking ITR methods rely on local alignment and additional soft-label supervision during training, while lacking awareness of structural and multi-granularity relationships. To address these issues, we propose a Multi-head Spiking Graph Attention Network (\textbf{MSGAT}) for structural modeling and equip it with dynamic attention heads to capture complementary relational patterns and enable spike-driven graph reasoning and aggregation. However, within a two-branch multi-granularity fusion framework, the fine-grained spike representations generated by MSGAT are sparse and discrete, whereas the global representations are continuous, making conventional feature-level fusion susceptible to interference across heterogeneous representations. Therefore, we introduce \textbf{Sim-Fuse}, a similarity-space fusion alignment strategy integrating coarse- and fine-grained matching relations while avoiding direct fusion of heterogeneous representations. Experiments on Flickr30K and MSCOCO show our method outperforms ANN methods under matched settings and existing SNN retrieval baselines. Moreover, with only two time steps, our SNN achieves comparable or superior performance to its ANN counterpart while reducing theoretical module-level energy by 55\%. The code is provided in the Supplementary Materials.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、スパースイベント駆動型計算によるエネルギー効率の高い計算パラダイムを提供し、効率的なマルチモーダル学習の可能性を秘めている。 しかし,画像テキスト検索(ITR)のような高レベルなマルチモーダルタスクにSNNを適用することは,スパーススパイク表現がクロスモーダルアライメントに必要なセマンティック構造を捉えるのを難しくしているため,依然として困難である。 既存のスパイクITR法は、局所的なアライメントと訓練中のソフトレーベルの監督に依存し、構造的および多粒性関係の認識を欠いている。 これらの問題に対処するために、構造モデリングのためのマルチヘッドスパイキンググラフ注意ネットワーク(\textbf{MSGAT})を提案し、それを動的アテンションヘッドに装備し、相補的関係パターンを捕捉し、スパイク駆動グラフの推論と集約を可能にする。 しかし,MSGATが生成する微細スパイク表現は細粒度で離散的であり,大域的表現は連続的であり,従来の特徴レベルの融合は異種表現間の干渉の影響を受けやすい。 したがって、不均一表現の直接融合を回避しつつ、粗さときめ細かなマッチング関係を統合した類似性空間の融合アライメント戦略である \textbf{Sim-Fuse} を導入する。 Flickr30K と MSCOCO を用いた実験により,提案手法は一致した条件下での ANN 法および既存の SNN 検索ベースラインよりも優れていた。 さらに,SNNは,2段階に留まらず,理論モジュールレベルのエネルギーを55%削減しつつ,ANNに匹敵する性能あるいは優れた性能を実現している。 コードは補助資料に記載されている。

関連論文リスト

• CAMPA: Efficient and Aligned Multimodal Graph Learning via Decoupled Propagation and Aggregation [37.04773834936237]
  マルチモーダルグラフニューラルネットワーク(MGNN)は、マルチモーダル属性グラフから学習する強力な可能性を示している。 既存のアプローチのほとんどは、計算オーバーヘッドの禁止に苦しむ密結合アーキテクチャに依存している。 本稿では,大規模なグラフ学習において,疎結合なMGNNの方がはるかに効率的かつスケーラブルであることを示す。
  論文  参考訳（メタデータ） (2026-05-12T03:32:54Z)
• Brain-Inspired Multimodal Spiking Neural Network for Image-Text Retrieval [79.04396446873932]
  スパイキングニューラルネットワーク(SNN)は、最近、視覚的タスクとテキストタスクに強い可能性を示している。 画像テキスト検索(ITR)のようなマルチモーダルアプリケーションのための直接訓練され、低エネルギーで高性能なSNNを構築することは、依然として非常に困難である。 我々は脳にインスパイアされたクロスモーダルスパイク・フュージョン・ネットワーク(CMSF)を提案し、初めてITRに適用した。
  論文  参考訳（メタデータ） (2026-03-25T08:41:07Z)
• Graph-Based Uncertainty Modeling and Multimodal Fusion for Salient Object Detection [12.743278093269325]
  動的不確実性伝播とマルチモーダル協調推論ネットワーク(DUP-MCRNet)を提案する。 DUGCは空間意味距離に基づいて構築されたスパースグラフを通じて層間の不確実性を伝播するように設計されている。 MCFは学習可能なモダリティゲーティングウェイトを使用して、RGB、深さ、エッジの特徴の注意マップを重み付けする。
  論文  参考訳（メタデータ） (2025-08-28T04:31:48Z)
• Unsupervised Hyperspectral and Multispectral Image Fusion via Self-Supervised Modality Decoupling [16.923899489263945]
  ハイパースペクトル・マルチスペクトル画像融合(HMIF)は、低分解能ハイパースペクトル画像(LR-HSI)と高分解能マルチスペクトル画像(HR-MSI)を融合することを目的としている。 HMIF法は通常、2つのモードからの直接融合を効果的な監督なしに適用する。 本稿では, エンドツーエンドの自己教師型textbfModality-Decoupled textbfSpatial-textbfSpectral Fusion (textbfMossFuse) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-06T06:22:43Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• MFPNet: Multi-scale Feature Propagation Network For Lightweight Semantic Segmentation [5.58363644107113]
  マルチスケール特徴伝達ネットワーク(Net)と呼ばれる,新しい軽量セグメンテーションアーキテクチャを提案する。 フレキシブル・ボトルネック・残差モジュール(BRM)からなる対称残差ブロックを有するロバスト・デコーダ構造を設計する。 遅延長範囲のコンテキスト関係をモデル化する能力の利点を生かして、グラフ畳み込みネットワーク(GCN)を活用し、BRMブロック間のマルチスケールフィーチャの伝搬を容易にする。
  論文  参考訳（メタデータ） (2023-09-10T02:02:29Z)
• Mixed Graph Contrastive Network for Semi-Supervised Node Classification [63.924129159538076]
  我々はMixed Graph Contrastive Network(MGCN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 本研究では,非摂動増強戦略と相関還元機構により,潜伏埋め込みの識別能力を向上する。 これら2つの設定を組み合わせることで、識別表現学習のために、豊富なノードと稀に価値あるラベル付きノードの両方から、豊富な監視情報を抽出する。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。