論文の概要: Omni-modal decomposition autoencoders learn full-stack wearable disentangled representations

• arxiv url: http://arxiv.org/abs/2608.07385v1
• Date: Fri, 07 Aug 2026 16:32:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.563946
• Title: Omni-modal decomposition autoencoders learn full-stack wearable disentangled representations
• Title（参考訳）: オムニモード分解オートエンコーダはフルスタックウェアラブル不整合表現を学習する
• Abstract要約: 分散表現の学習は、ウェアラブルコンピューティングにおいて汎用的で汎用的で持続可能なモデルを開発する上で重要な要件である。 多目的表現を効率的に学習するフレームワークであるOmni-modal Variational Decomposition Autoencoders (OmniDecVAEs)を紹介する。 OmniDecVAEは、インテリジェントエッジウェアラブルと臨床医療に適した軽量モデルとしての可能性を強調した。
• 参考スコア（独自算出の注目度）: 26.975035794955208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning disentangled representations is a key requirement for developing versatile, general-purpose, and sustainable models in multi-modal wearable computing. However, existing approaches do not operate as full-stack wearable processors, i.e., they do not simultaneously address task-specific classification performance, disentangled and interpretable representation learning, fusion, and generative modeling of highly heterogeneous multi-modal time series. To address this gap, we introduce Omni-modal Variational Decomposition Autoencoders (OmniDecVAEs), a framework that efficiently learns multi-purpose representations in a unified and scalable manner from arbitrarily many modalities. OmniDecVAEs extend DecVAEs by learning modality-conditioned time-frequency latent subspaces through a multi-view self-supervised decomposition loss and a shared asymmetric autoencoder (AE) architecture. Results on a challenging omni-modal human activity recognition (HAR) setting with up to thirty modalities, demonstrate the ability of OmniDecVAEs to learn full-stack wearable representations. When compared to transformer-based and VAE-based methods, OmniDecVAEs full-stack disentangled representation properties lead to accuracy improvements of 1.01% and 6.75% in activity and identity recognition, respectively. Furthermore, OmniDecVAEs synthesize realistic omni-modal time-frequency data that manifest with enhanced reconstructions (mean absolute error improves by 76.84%) and distributional similarity between real and synthetic data (maximum mean discrepancy improves by 13.85%). Our results highlight OmniDecVAEs potential as a lightweight model suitable for intelligent edge wearables and clinical healthcare, unifying processing requirements and abilities in a single model, through its enhanced representational capacity, modality-invariant spatial complexity (4.1M parameters), and real-time latency.
• Abstract（参考訳）: 分散表現の学習は、多モードウェアラブルコンピューティングにおいて多目的で汎用的で持続可能なモデルを開発する上で重要な要件である。 しかし、既存のアプローチはフルスタックのウェアラブルプロセッサとして動作せず、タスク固有の分類性能、非絡み合いで解釈可能な表現学習、融合、高度に異質なマルチモーダル時系列の生成モデリングを同時に処理しない。 このギャップを解決するために,Omni-modal Variational Decomposition Autoencoders (OmniDecVAEs) を導入する。 OmniDecVAEsは、多視点の自己教師付き分解損失と共有非対称オートエンコーダ(AE)アーキテクチャを通して、モード条件付き時間周波数潜在部分空間を学習することでDecVAEsを拡張する。 OmniDecVAEsがフルスタックのウェアラブル表現を学習する能力を示した。 OmniDecVAEのフルスタックのアンタングル表現特性は、トランスフォーマーベースとVAEベースの手法と比較して、それぞれ1.01%と6.75%のアクティビティとアイデンティティ認識の精度向上をもたらす。 さらに、OmniDecVAEsは、再構成の強化(絶対誤差は76.84%改善)と実データと合成データの分布的類似性(最大平均差は13.85%改善)で表される現実的なオムニモードの時間周波数データを合成する。 OmniDecVAEは、インテリジェントエッジウェアラブルと臨床医療に適した軽量モデルであり、単一のモデルにおける処理要件と能力の統合、表現能力の向上、モダリティ不変空間の複雑さ(4.1Mパラメータ)、リアルタイムレイテンシーを特徴としている。

関連論文リスト

• OmniRet: Efficient and High-Fidelity Omni Modality Retrieval [51.80205678389465]
  OmniRetは,テキスト,視覚,音声の3つの重要なモダリティにまたがる複雑なクエリを処理可能な,最初の検索モデルである。 提案モデルでは,コンポジションクエリ,音声,ビデオ検索のタスクにおいて,最先端のモデルを用いたオンパーパフォーマンスを実現しつつ,大幅な改善を実現している。
  論文  参考訳（メタデータ） (2026-03-02T17:19:55Z)
• StaMo: Unsupervised Learning of Generalizable Robot Motion from Compact State Representation [56.996371714721995]
  高度に圧縮された2つの状態表現を学習する教師なしの手法を提案する。 私たちの表現は効率的で解釈可能で、既存のVLAベースのモデルとシームレスに統合されます。 提案手法は,コンパクトな状態表現から一般化可能なロボットモーションを学習できることから,StaMoと命名する。
  論文  参考訳（メタデータ） (2025-10-06T17:37:24Z)
• UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
  マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。 階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。 我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
  論文  参考訳（メタデータ） (2025-09-19T17:29:25Z)
• Filling the Gaps: A Multitask Hybrid Multiscale Generative Framework for Missing Modality in Remote Sensing Semantic Segmentation [28.992992584085787]
  マルチモーダル学習は、通常の単調モデルと比較して大きな性能向上を示した。 現実のシナリオでは、センサーの故障と悪天候のためにマルチモーダル信号が欠落する可能性がある。 本稿では,これらの制約に対処するために,GEMMNet(Generative-Enhanced MultiModal Learning Network)を提案する。
  論文  参考訳（メタデータ） (2025-09-14T05:40:35Z)
• A CLIP-based Uncertainty Modal Modeling (UMM) Framework for Pedestrian Re-Identification in Autonomous Driving [6.223368492604449]
  Uncertainty Modal Modeling (UMM) フレームワークは、マルチモーダルトークンマッパー、合成モダリティ強化戦略、およびクロスモーダルキュー対話型学習器を統合している。 UMMは、不確実なモード条件下で強い堅牢性、一般化、および計算効率を達成する。
  論文  参考訳（メタデータ） (2025-08-15T04:50:27Z)
• SCENT: Robust Spatiotemporal Learning for Continuous Scientific Data via Scalable Conditioned Neural Fields [11.872753517172555]
  SCENTは、スケーラブルで連続性に富んだモデリング学習のための新しいフレームワークである。 SCENTは単一のアーキテクチャ内で表現、再構築、予測を統一する。 我々はSCENTを広範囲なシミュレーションと実世界の実験により検証し、最先端の性能を実証した。
  論文  参考訳（メタデータ） (2025-04-16T17:17:31Z)
• Efficient High-Resolution Visual Representation Learning with State Space Model for Human Pose Estimation [60.80423207808076]
  高解像度の視覚表現を維持しながら長距離依存関係をキャプチャすることは、人間のポーズ推定のような密集した予測タスクに不可欠である。 マルチスケールの畳み込み操作で視覚状態空間モデルを拡張する動的ビジュアル状態空間(DVSS)ブロックを提案する。 HRVMambaは効率的な高分解能表現学習のための新しいモデルである。
  論文  参考訳（メタデータ） (2024-10-04T06:19:29Z)
• OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
  OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論する能力を評価するために設計された新しいベンチマークである。 評価の結果,オープンソース OLM は三モーダル文脈における命令追従や推論に重大な制限があることが明らかとなった。 我々は,OLM性能を向上させるため,より堅牢な3モーダル統合技術とトレーニング戦略の開発を提唱する。
  論文  参考訳（メタデータ） (2024-09-23T17:59:05Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)
• MIA-Former: Efficient and Robust Vision Transformers via Multi-grained Input-Adaptation [14.866949449862226]
  Vision Transformer (ViT) モデルは、現実のリソース制約されたデバイスに組み込むには計算コストがかかりすぎる。 入力適応型視覚変換フレームワークMIA-Formerを提案する。 提案するMIA-Formerフレームワークは,入力画像の難易度に適応した予算を効果的に配分できることを確認した。
  論文  参考訳（メタデータ） (2021-12-21T22:06:24Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。