論文の概要: Sense Less, Infer More: Agentic Multimodal Transformers for Edge Medical Intelligence

• arxiv url: http://arxiv.org/abs/2604.10404v1
• Date: Sun, 12 Apr 2026 01:46:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.996153
• Title: Sense Less, Infer More: Agentic Multimodal Transformers for Edge Medical Intelligence
• Title（参考訳）: エッジ・メディカル・インテリジェンスのためのエージェント・マルチモーダル・トランスフォーマー
• Abstract要約: 適応型マルチモーダルインテリジェンス(AMI:Adaptive Multimodal Intelligence)は、いつ、どのように推論するかを共同で学習するエンドツーエンドフレームワークである。 AMIは,(1)Gumbel-Sigmoid Gatingを用いてモデル信頼性とタスク関連性に基づいて動的にアクティブなセンサを選択できる軽量なエージェントモードコントローラ,(2)時間的に冗長なサンプルをスキップするための学習可能なしきい値を持つパッチワイズデルタシグマ演算を適用可能な学習Sigma-Delta Sensingモジュール,(3)非モーダルファウンデーションエンコーダと時間的コンテキストを持つクロスモーダルトランスフォーマーをベースとしたファンデーションベースのマルチモーダル予測モデル,の3つのコンポーネントを統合した。
• 参考スコア（独自算出の注目度）: 11.75125432258758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Edge-based multimodal medical monitoring requires models that balance diagnostic accuracy with severe energy constraints. Continuous acquisition of ECG, PPG, EMG, and IMU streams rapidly drains wearable batteries, often limiting operation to under 10 hours, while existing systems overlook the high temporal redundancy present in physiological signals. We introduce Adaptive Multimodal Intelligence (AMI), an end-to-end framework that jointly learns when to sense and how to infer. AMI integrates three components: (1) a lightweight Agentic Modality Controller that uses differentiable Gumbel-Sigmoid gating to dynamically select active sensors based on model confidence and task relevance; (2) a Learned Sigma-Delta Sensing module that applies patch-wise Delta-Sigma operations with learnable thresholds to skip temporally redundant samples; and (3) a Foundation-backed Multimodal Prediction Model built on unimodal foundation encoders and a cross-modal transformer with temporal context, enabling robust fusion even under gated or missing inputs. These components are trained jointly via a multi-objective loss combining classification accuracy, sparsity regularization, cross-modal alignment, and predictive coding. AMI is hardware-aware, supporting dynamic computation graphs and masked operations, leading to real energy and latency savings. Across MHEALTH, HMC Sleep, and WESAD datasets, it reduces sensor usage by 48.8% while improving state-of-the-art accuracy by 1.9% on average.
• Abstract（参考訳）: エッジベースのマルチモーダル医療モニタリングは、診断精度と厳しいエネルギー制約のバランスをとるモデルを必要とする。 ECG, PPG, EMG, IMU ストリームの連続的取得は、しばしば10時間未満の動作に制限されるが、既存のシステムは生理的信号に高い時間的冗長性を見落としている。 適応型マルチモーダルインテリジェンス(AMI:Adaptive Multimodal Intelligence)は、いつ、どのように推論するかを共同で学習するエンドツーエンドフレームワークである。 AMIは,(1)モデル信頼性とタスク関連性に基づいて動的にアクティブなセンサを選択可能なGumbel-Sigmoidゲーティングを用いた軽量なエージェントモードコントローラ,(2)時間的に冗長なサンプルをスキップするパッチワイズデルタシグマ演算を応用した学習済みSigma-Delta Sensingモジュール,(3)非モーダルファウンデーションエンコーダと時間的コンテキストを持つクロスモーダルトランスフォーマーをベースとしたファンデーションベースのマルチモーダル予測モデル,の3つのコンポーネントを統合した。 これらのコンポーネントは、分類精度、スパーシティ正規化、クロスモーダルアライメント、予測符号化を組み合わせた多目的損失によって共同で訓練される。 AMIはハードウェア対応で、動的計算グラフとマスキング操作をサポートし、実際のエネルギとレイテンシの削減につながる。 MHEALTH、HMC Sleep、WASADデータセット全体では、センサーの使用量を48.8%削減し、最先端の精度を平均1.9%改善している。

関連論文リスト

• RAMamba-Net: A Reliability-Aware and Mamba-Based Multimodal Fusion Network for Auditory Attention Detection [17.489739821644598]
  AAD (Auditory attention decoding) は、参加話者を生理的信号から識別する。 EEGはAADの主要なモダリティであるが、自然主義的なオーディオ視覚シーンでは不完全な証拠を提供する。 AADのためのマルチモーダル・フュージョン・ネットワークであるRAMamba-Netを提案する。
  論文  参考訳（メタデータ） (2026-09-10T11:08:15Z)
• S$^3$AM: A Single-Stream SAM with Reliability-Calibrated Frequency Adapter for Multi-modal Salient Object Detection [74.15663758681849]
  シングルストリームフレームワークは、信頼性キャリブレーションされた周波数適応をMSOD用のSAMバックボーンに組み込む。 RGB-D、RGB-T、RGB-NIRの正当性オブジェクト検出ベンチマークの実験により、提案フレームワークが競合性能を達成することを確認した。
  論文  参考訳（メタデータ） (2026-08-18T08:05:00Z)
• A Multi-Scale Temporal Framework with Dynamic Fusion for EEG-Based Emotion Recognition [8.619946906050457]
  混合感情は、臨床的に関連があるが、まだ探索されていない自動感情認識の標的である。 本研究では,脳波に基づく感情認識のための多段階の時間的枠組みを提案する。
  論文  参考訳（メタデータ） (2026-08-10T03:39:20Z)
• Multimodal Wearable-Based Olfactory-Induced Emotion Recognition in Arousal-Valence Dimensions [15.21606334710936]
  オルフアクションは非侵襲的で軽量な経路として働き、脳の情動回路や感情調節に直接関与する。 現在の嗅覚研究には2つの重要な限界がある。 陽気さを無視しながら、原子価の次元を過度に強調する。
  論文  参考訳（メタデータ） (2026-07-24T01:42:27Z)
• AdaSurvMamba: Dynamic Fusion and Semantic Scanning for Multimodal Survival Analysis [57.942670844512016]
  我々はAdaSurvMambaをマルチモーダルサバイバル分析の新しい適応フレームワークとして紹介する。 このフレームワークは、クロスモーダル相互作用強度を動的に変調するDual-Scale Importance-Aware Reconstruction (DSIR)モジュールを備えている。 5つのTCGAコホートに対する実験は、既存の方法よりも一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-06-28T11:36:31Z)
• Deep Temporal Modeling and Ensemble Fusion for Multimodal Emotion Recognition from Physiological Signals [6.265137019897129]
  マルチモーダル影響認識のための WESAD データセット上で,Long Short-Term Memory (LSTM), Temporal Convolutional Networks (TCN), Transformer などのディープラーニングモデルの包括的評価を行う。 我々は,マルチモーダル入力で訓練された3つのアーキテクチャの予測を組み合わせ,遅延融合型アンサンブル戦略を実装した。 以上の結果から,Transformerモデルはマルチモーダル設定において常に高い精度を達成し,TNモデルは手首のみの設定において最良であることがわかった。
  論文  参考訳（メタデータ） (2026-06-12T23:50:33Z)
• Multi-scale Coarse-to-fine Modeling for Test-time Human Motion Control [51.92884966472683]
  MSCoTは、テストタイムの人間のモーション合成と制御のための、マルチスケールで粗い粒度モデルである。 MSCoTは動きを多スケールの階層表現に識別し、各時間スケールでトークンシーケンス全体を予測する。
  論文  参考訳（メタデータ） (2026-05-14T15:09:49Z)
• MedMamba: Recasting Mamba for Medical Time Series Classification [6.852021597208217]
  心電図(ECG)や脳電図(EEG)などの医療時系列は、複雑な時間的ダイナミクスを示す。 本稿では,医療時系列分類に適した,原理駆動型多方向性状態空間アーキテクチャであるMedMambaを提案する。 我々の設計は、空間集中化、多時間的時間的構成、非因果的文脈依存という、生理的信号の3つの重要な帰納的バイアスによって導かれる。
  論文  参考訳（メタデータ） (2026-04-17T01:20:02Z)
• Towards Dexterous Embodied Manipulation via Deep Multi-Sensory Fusion and Sparse Expert Scaling [6.026400295270904]
  DeMUSEは、RGB、深さ、および6軸の力を統一されたシリアライズストリームに統合するフレームワークである。 AdaMNは、モダリティを意識した特徴の再検討、表現の不均衡の緩和に使用される。 統合認知目的は、物理的整合性を確保するために、環境進化とアクションシーケンスを同期的に合成する。
  論文  参考訳（メタデータ） (2026-02-23T12:12:51Z)
• Time2Vec Transformer for Robust Gesture Recognition from Low-Density sEMG [1.231764991565978]
  本稿では筋電義手制御のための新しい,データ効率の高いディープラーニングフレームワークを提案する。 提案手法は, スパース2チャネル表面筋電図(sEMG)に最適化されたハイブリッドトランスフォーマーの実装である。 提案するフレームワークは, 迅速なパーソナライズが可能な次世代人工装具の堅牢で費用対効果の高い青写真を提供する。
  論文  参考訳（メタデータ） (2026-02-02T09:28:27Z)
• MedSeqFT: Sequential Fine-tuning Foundation Models for 3D Medical Image Segmentation [55.37355146924576]
  MedSeqFTは、医用画像解析のためのシーケンシャルな微調整フレームワークである。 事前訓練されたモデルを新しいタスクに適応させ、表現能力を改善する。 最先端の微調整戦略を一貫して上回ります。
  論文  参考訳（メタデータ） (2025-09-07T15:22:53Z)
• Towards Robust Multimodal Physiological Foundation Models: Handling Arbitrary Missing Modalities [9.785262633953794]
  生理オムニ (Phylo Omni) は、マルチモーダルな生理的信号解析の基礎モデルである。 分離されたマルチモーダル・トークンーザを訓練し、マスクされた信号の事前訓練を可能にする。 最先端のパフォーマンスを達成しつつ、モダリティの欠如に対して強い堅牢性を維持します。
  論文  参考訳（メタデータ） (2025-04-28T09:00:04Z)
• DA-Flow: Dual Attention Normalizing Flow for Skeleton-based Video Anomaly Detection [52.74152717667157]
  本稿では,DAM(Dual Attention Module)と呼ばれる軽量モジュールを提案する。 フレームアテンション機構を使用して、最も重要なフレームを識別し、スケルトンアテンション機構を使用して、最小パラメータとフロップで固定されたパーティション間の広範な関係をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-05T06:18:03Z)
• Convolutional Monge Mapping Normalization for learning on sleep data [63.22081662149488]
  我々は、CMMN(Convolutional Monge Mapping Normalization)と呼ばれる新しい手法を提案する。 CMMNは、そのパワースペクトル密度(PSD)をトレーニングデータに基づいて推定されるワッサーシュタインバリセンタに適応させるために、信号をフィルタリングする。 睡眠脳波データに関する数値実験により、CMMNはニューラルネットワークアーキテクチャから独立して、顕著で一貫したパフォーマンス向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-05-30T08:24:01Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。