論文の概要: Sparse Multi-Modal Transformer with Masking for Alzheimer's Disease Classification

• arxiv url: http://arxiv.org/abs/2512.14491v1
• Date: Tue, 16 Dec 2025 15:24:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-17 16:49:26.76352
• Title: Sparse Multi-Modal Transformer with Masking for Alzheimer's Disease Classification
• Title（参考訳）: アルツハイマー病分類のためのマスキング付きスパースマルチモーダルトランス
• Authors: Cheng-Han Lu, Pei-Hsuan Tsai,
• Abstract要約: トランスフォーマーベースのマルチモーダルインテリジェントシステムは、密集した自己注意による高い計算とエネルギーコストに悩まされることが多い。 本稿では,効率とロバスト性の向上を目的としたスパースマルチモーダルトランスアーキテクチャSMMTを提案する。
• 参考スコア（独自算出の注目度）: 1.9336815376402718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based multi-modal intelligent systems often suffer from high computational and energy costs due to dense self-attention, limiting their scalability under resource constraints. This paper presents SMMT, a sparse multi-modal transformer architecture designed to improve efficiency and robustness. Building upon a cascaded multi-modal transformer framework, SMMT introduces cluster-based sparse attention to achieve near linear computational complexity and modality-wise masking to enhance robustness against incomplete inputs. The architecture is evaluated using Alzheimer's Disease classification on the ADNI dataset as a representative multi-modal case study. Experimental results show that SMMT maintains competitive predictive performance while significantly reducing training time, memory usage, and energy consumption compared to dense attention baselines, demonstrating its suitability as a resource-aware architectural component for scalable intelligent systems.
• Abstract（参考訳）: トランスフォーマーベースのマルチモーダルインテリジェントシステムは、リソース制約下でのスケーラビリティを制限し、密集した自己注意による高い計算とエネルギーコストに悩まされることが多い。 本稿では,効率とロバスト性の向上を目的としたスパースマルチモーダルトランスアーキテクチャSMMTを提案する。 SMMTは、カスケード型マルチモーダルトランスフォーマーフレームワークを基盤として、クラスタベースのスパースアテンションを導入し、線形計算複雑性とモダリティワイドマスキングに近づき、不完全入力に対する堅牢性を高める。 このアーキテクチャは、ADNIデータセット上のアルツハイマー病分類を用いて、代表的マルチモーダルケーススタディとして評価される。 実験の結果,SMMTはトレーニング時間,メモリ使用量,エネルギー消費量を高密度の注意ベースラインと比較して有意に削減し,拡張性のあるインテリジェントシステムにおいて資源に配慮したアーキテクチャコンポーネントとして適性を示すとともに,競争力のある予測性能を維持していることがわかった。

関連論文リスト

• MSD-KMamba: Bidirectional Spatial-Aware Multi-Modal 3D Brain Segmentation via Multi-scale Self-Distilled Fusion Strategy [15.270952880303533]
  本稿では,新しい3次元マルチモーダル画像分割フレームワークMSD-KMambaを提案する。 双方向の空間知覚とマルチスケールの自己蒸留を統合している。 我々のフレームワークは、セグメンテーション精度、ロバスト性、一般化における最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-09-28T06:34:01Z)
• Large-Scale Model Enabled Semantic Communication Based on Robust Knowledge Distillation [45.347078403677216]
  大規模モデル(LSM)は意味表現と理解に有効なフレームワークである。 しかしながら、それらの直接的なデプロイメントは、しばしば高い計算複雑性とリソース要求によって妨げられる。 本稿では,新しい知識蒸留に基づくセマンティックコミュニケーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-04T07:47:18Z)
• BrainSymphony: A Transformer-Driven Fusion of fMRI Time Series and Structural Connectivity [2.3486335708866606]
  BrainSymphonyは、ニューロイメージングのための軽量でパラメータ効率の良い基礎モデルである。 かなり小さなパブリックデータセットで事前トレーニングされた状態で、最先端のパフォーマンスを実現する。 BrainSymphonyは、アーキテクチャを意識したマルチモーダルモデルがより大きなモデルを上回る可能性があることを証明している。
  論文  参考訳（メタデータ） (2025-06-23T06:00:21Z)
• BHViT: Binarized Hybrid Vision Transformer [53.38894971164072]
  モデルバイナライゼーションは畳み込みニューラルネットワーク(CNN)のリアルタイムおよびエネルギー効率の計算を可能にした。 本稿では,バイナライズフレンドリーなハイブリッドViTアーキテクチャであるBHViTとそのバイナライズモデルを提案する。 提案アルゴリズムは,バイナリ ViT 手法間でSOTA 性能を実現する。
  論文  参考訳（メタデータ） (2025-03-04T08:35:01Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [86.76714527437383]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• GSIFN: A Graph-Structured and Interlaced-Masked Multimodal Transformer-based Fusion Network for Multimodal Sentiment Analysis [0.0]
  マルチモーダルセンチメント分析(MSA)は、複数のデータモーダルを利用して人間の感情を分析する。 既存のMSAモデルでは、MSA能力を促進するために、最先端のマルチモーダル融合と表現学習に基づく手法が一般的である。 提案するGSIFNは,これらの問題を解決するために2つの主成分を組み込んでいる。 これはInterlaced Mask機構を採用し、堅牢なマルチモーダルグラフ埋め込みを構築し、オールモーダルインワントランスフォーマーベースの融合を実現し、計算オーバーヘッドを大幅に削減する。
  論文  参考訳（メタデータ） (2024-08-27T06:44:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。