論文の概要: Learning Multimodal Sensor Fusion with JEPA Representations for Breathing Activity and Pose Recognition

• arxiv url: http://arxiv.org/abs/2610.15891v1
• Date: Sun, 11 Oct 2026 20:13:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.267209
• Title: Learning Multimodal Sensor Fusion with JEPA Representations for Breathing Activity and Pose Recognition
• Title（参考訳）: JEPA表現を用いたマルチモーダルセンサフュージョンの学習
• Abstract要約: 凍結したV-JEPA2の機能を、RGBビデオ、ディープビデオ、レーダ時系列で構成された不均一なセンサー群に転送する。 共有融合モデルは、モダリティクエリ、固定センサースロット、呼吸活動の分類と7つの空でないセンサーサブセットからのポーズの明示的な可用性を使用する。 一致した下流パラメータ数では、最終モデルは7つのサブセットで平均75.23%pm0.60ドルのレコードレベルのマクロF1に達する。
• 参考スコア（独自算出の注目度）: 10.912179028975954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predictive video representations do not by themselves specify how a multimodal system should handle missing sensors. We transfer frozen V-JEPA2 features to a set of heterogeneous sensors comprised by RGB video, depth video, and radar time series. A shared fusion model uses modality queries, fixed sensor slots, and explicit availability to classify breathing activity and pose from all seven non-empty sensor subsets. The contribution is a controlled evaluation of subset supervision, pooling capacity, and representation transfer on 39 OMuSense-23 subjects with five subject-group folds and three seeds. With matched downstream parameter counts, the final model reaches recording-level activity macro-F1 of $75.23%\pm0.60$ averaged across seven subsets. Supervising all subsets in each batch improves the matched query-pooling control by 1.923 percentage points (conditional 95% subject-bootstrap interval [0.647, 3.209]), while query pooling shows no clear advantage over matched mean pooling under balanced supervision. Radar probes support transfer beyond pooled wavelet pixels, 64-token inference approximately preserves mean activity performance, and the tested Consensus-JEPA loss adds no measured benefit against its exact control.
• Abstract（参考訳）: 予測的なビデオ表現は、マルチモーダルシステムが不足するセンサーをどのように扱うべきかをそれ自体は規定していない。 凍結したV-JEPA2の機能を、RGBビデオ、ディープビデオ、レーダ時系列で構成された不均一なセンサー群に転送する。 共有融合モデルは、モダリティクエリ、固定センサースロット、呼吸活動の分類と7つの空でないセンサーサブセットからのポーズのための明示的な可用性を使用する。 コントリビューションは, サブセットの監督, プール能力, OMuSense-23被験者39名に対する表現伝達の制御的評価である。 一致した下流パラメータ数では、最終モデルは7つのサブセットで平均75.23%\pm0.60ドルのレコードレベルのマクロF1に達する。 各バッチ内の全てのサブセットを監視することにより、マッチしたクエリプール制御を1.923ポイント(条件95%のサブセットブートストラップ間隔 [0.647, 3.209])改善する。 レーダプローブは、プーリングされたウェーブレットピクセルを超える転送をサポートし、64-token推論は平均活動性能をほぼ保ち、試験されたConsensus-JEPA損失は、その正確な制御に対して測定上の利点を与えない。

関連論文リスト

• A First-Principles Evaluation of Graph-Based Network Intrusion Detection Systems [7.608784888435352]
  グラフベースのネットワーク侵入検知システム(GIDS)は、強力なベンチマーク検出指標を報告しているが、これらの指標はデプロイ可能性についてはほとんど確立していない。 我々は,9つの代表的なGIDSを調査し,その中の5つをGIDS-Eval内に再実装し,マッチしたプロトコルの下で4つのデータセット上で評価する。 我々は,同じフレームワーク上に構築されたエンコーダフリーコントロールであるGIDS-Liteを紹介した。
  論文  参考訳（メタデータ） (2026-09-10T22:38:09Z)
• MEOX: Compact Multimodal Mixture-of-Experts for Earth Observation [0.0]
  我々は,2.939万のパラメータエンコーダと3.115万のパラメータを持つマルチモーダルマスク付きオートエンコーダMEOXを提案する。 センサ固有のアダプタ、明示的な妥当性信号、共有スパース・エキスパートブロックは、モダリティに依存した処理を保存する。 このモデルは64.42%に達し、カシューセグメンテーションでは64ピクセル、ユーロサットでは90.56%の精度で224ピクセルで交差する。
  論文  参考訳（メタデータ） (2026-09-04T16:59:36Z)
• Robust Slip Detection and Material Classification via Spatiotemporal Transformers on a Uniformly-Illuminated Visuo-Tactile Sensor [52.33204893988409]
  本稿では,一様照明をカスタマイズした視覚触覚センサと統合認識フレームワークを提案する。 提案するハードウェア・ソフトウェア・フレームワークは、複雑なロボット操作のための高忠実度フィードバックと強力なマルチモーダル認識ベースラインを提供する。
  論文  参考訳（メタデータ） (2026-08-25T07:25:27Z)
• Boundary-Aligned Contribution Routing for Robust Optical--SAR Object Detection [8.665369041430969]
  光-SAR融合はリモートセンシングオブジェクト検出に魅力的である。 しかし、不完全な空間的、時間的、意味的な対応は、不完全なストリームを条件付きで有害にすることができる。 我々は,検出監視のみを用いてタスク条件付きコントリビューションルーティングを学習する。
  論文  参考訳（メタデータ） (2026-08-15T14:37:23Z)
• Earth-OneVision: Extending Remote Sensing Multimodal Large Language Models to More Sensor Modalities and Tasks [20.969678030412407]
  Earth-OneVisionは、9つのタスクカテゴリにまたがる6つのセンサーモードとクロスセンサー融合を統合する2B RS-MLLMである。 2Bパラメータだけで、Earth-OneVisionは広範なベンチマークで競合または最先端の結果を達成する。
  論文  参考訳（メタデータ） (2026-06-09T13:01:51Z)
• PeftCD: Leveraging Vision Foundation Models with Parameter-Efficient Fine-Tuning for Remote Sensing Change Detection [9.241842285556134]
  PeftCDはVision Foundation Models上に構築された変更検出フレームワークである。 重量共有エンコーダはVFMから派生したもので、LoRAとAdapterモジュールはシームレスに統合される。 複数の公開データセットにまたがって最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-09-11T16:08:43Z)
• CAFuser: Condition-Aware Multimodal Fusion for Robust Semantic Perception of Driving Scenes [56.52618054240197]
  本研究では,運転シーンのロバストな意味認識のための条件対応型マルチモーダル融合手法を提案する。 CAFuserは、RGBカメラ入力を用いて環境条件を分類し、コンディショントークンを生成する。 我々のモデルは、特に悪条件シナリオにおいて、ロバスト性と精度を著しく向上させる。
  論文  参考訳（メタデータ） (2024-10-14T17:56:20Z)
• MSMDFusion: Fusing LiDAR and Camera at Multiple Scales with Multi-Depth Seeds for 3D Object Detection [89.26380781863665]
  自律運転システムにおける高精度で信頼性の高い3次元物体検出を実現するためには,LiDARとカメラ情報の融合が不可欠である。 近年のアプローチでは、2次元カメラ画像の3次元空間への昇華点によるカメラ特徴のセマンティックな密度の探索が試みられている。 マルチグラニュラリティLiDARとカメラ機能とのマルチスケールなプログレッシブインタラクションに焦点を当てた,新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-07T12:29:29Z)
• Disentangle Your Dense Object Detector [82.22771433419727]
  深層学習に基づく高密度物体検出器はここ数年で大きな成功を収め、ビデオ理解などのマルチメディアアプリケーションにも応用されてきた。 しかし、現在の高密度検出器の訓練パイプラインは、保持できない多くの接続に妥協されている。 そこで本研究では, 簡易かつ効果的な遠心分離機構を設計し, 現在の最先端検出器に統合するDED(Disentangled Dense Object Detector)を提案する。
  論文  参考訳（メタデータ） (2021-07-07T00:52:16Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。