論文の概要: HiMAE: Hierarchical Masked Autoencoders Discover Resolution-Specific Structure in Wearable Time Series
- arxiv url: http://arxiv.org/abs/2510.25785v1
- Date: Tue, 28 Oct 2025 14:15:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-31 16:05:09.482605
- Title: HiMAE: Hierarchical Masked Autoencoders Discover Resolution-Specific Structure in Wearable Time Series
- Title(参考訳): ヒマエ:階層型マスケードオートエンコーダが分解能の特異な構造を発見
- Authors: Simon A. Lee, Cyrus Tanade, Hao Zhou, Juhyeon Lee, Megha Thukral, Minji Han, Rachel Choi, Md Sazzad Hissain Khan, Baiying Lu, Migyeong Gwak, Mehrab Bin Morshed, Viswam Nathan, Md Mahbubur Rahman, Li Zhu, Subramaniam Venkatraman, Sharanya Arcot Desai,
- Abstract要約: マスク付きオートエンコーディングと階層的畳み込みエンコーダデコーダを組み合わせた自己教師型フレームワークであるHiMAE(Hierarchical Masked Autoencoder)を紹介する。
HiMAEは、時間スケールの予測信号の体系的な評価を可能にするマルチ解像度埋め込みを生成する。
- 参考スコア(独自算出の注目度): 12.476150662404741
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Wearable sensors provide abundant physiological time series, yet the principles governing their predictive utility remain unclear. We hypothesize that temporal resolution is a fundamental axis of representation learning, with different clinical and behavioral outcomes relying on structure at distinct scales. To test this resolution hypothesis, we introduce HiMAE (Hierarchical Masked Autoencoder), a self supervised framework that combines masked autoencoding with a hierarchical convolutional encoder decoder. HiMAE produces multi resolution embeddings that enable systematic evaluation of which temporal scales carry predictive signal, transforming resolution from a hyperparameter into a probe for interpretability. Across classification, regression, and generative benchmarks, HiMAE consistently outperforms state of the art foundation models that collapse scale, while being orders of magnitude smaller. HiMAE is an efficient representation learner compact enough to run entirely on watch, achieving sub millisecond inference on smartwatch class CPUs for true edge inference. Together, these contributions position HiMAE as both an efficient self supervised learning method and a discovery tool for scale sensitive structure in wearable health.
- Abstract(参考訳): ウェアラブルセンサーは豊富な生理的時系列を提供するが、その予測ユーティリティを規定する原則はいまだ不明である。
我々は、時間分解能は表現学習の基本的な軸であり、異なる尺度の構造に依存した臨床と行動の異なる結果である、と仮定する。
マスク付き自動符号化と階層的畳み込み符号デコーダを組み合わせた自己教師型フレームワークであるHiMAE(Hierarchical Masked Autoencoder)を導入する。
HiMAEは、時間スケールが予測信号を持ち、高パラメータから解釈可能性のためのプローブに分解能を変換する体系的な評価を可能にする多分解能埋め込みを生成する。
分類、回帰、生成ベンチマーク全体にわたって、HiMAEは、マグニチュードのオーダーを小さくしながらスケールを崩壊させる最先端の基礎モデルよりも一貫して優れています。
HiMAEは、スマートウォッチクラスのCPU上でミリ秒未満の推論を実現し、真のエッジ推論を実現するのに十分な、効率的な表現学習機である。
これらのコントリビューションは、ヒマエを効率的な自己教師付き学習方法と、ウェアラブル健康におけるスケールセンシティブな構造を発見するツールの両方として位置づけている。
関連論文リスト
- Time-Aware Feature Selection: Adaptive Temporal Masking for Stable Sparse Autoencoder Training [0.47745223151611654]
本稿では,アクティベーションの程度,頻度,コントリビューションの追跡によって特徴選択を調整し,時間とともに進化する重要度を計算するための新しいトレーニング手法であるAdaptive Temporal Masking(ATM)を紹介する。
ATMは、TopKやJumpReLU SAEsのような既存の方法に比べて吸収スコアが大幅に低いが、再現性は良好である。
論文 参考訳(メタデータ) (2025-10-09T23:12:51Z) - Towards Efficient General Feature Prediction in Masked Skeleton Modeling [59.46799426434277]
マスクスケルトンモデリングのための新しい汎用特徴予測フレームワーク(GFP)を提案する。
我々の重要な革新は、局所的な動きパターンからグローバルな意味表現にまたがる、従来の低レベルな再構築を高レベルな特徴予測に置き換えることです。
論文 参考訳(メタデータ) (2025-09-03T18:05:02Z) - Semi-supervised Semantic Segmentation with Multi-Constraint Consistency Learning [81.02648336552421]
本稿では,エンコーダとデコーダの段階的拡張を容易にするためのマルチ制約一貫性学習手法を提案する。
自己適応型特徴マスキングとノイズ注入は、デコーダの堅牢な学習のための特徴を摂動させるために、インスタンス固有の方法で設計されている。
Pascal VOC2012およびCityscapesデータセットの実験結果から,提案したMCCLが新たな最先端性能を実現することを示す。
論文 参考訳(メタデータ) (2025-03-23T03:21:33Z) - Interpreting CLIP with Hierarchical Sparse Autoencoders [8.692675181549117]
サエマトリオシュカ(MSAE)は複数の粒度の階層的表現を同時に学習する。
MSAEは、CLIPの再構築品質とスパーシリティの間に新しい最先端のフロンティアを確立する。
論文 参考訳(メタデータ) (2025-02-27T22:39:13Z) - MAUCell: An Adaptive Multi-Attention Framework for Video Frame Prediction [0.0]
本稿では,GAN(Generative Adrative Networks)とアテンション機構を組み合わせたマルチアテンションユニット(MAUCell)を導入する。
新しい設計システムは、時間的連続性と空間的精度の平衡を維持し、信頼性の高い映像予測を提供する。
論文 参考訳(メタデータ) (2025-01-28T14:52:10Z) - UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。
まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。
次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
論文 参考訳(メタデータ) (2024-02-12T19:39:26Z) - Skeleton2vec: A Self-supervised Learning Framework with Contextualized
Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。
具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。
提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文 参考訳(メタデータ) (2024-01-01T12:08:35Z) - Learning Efficient Coding of Natural Images with Maximum Manifold
Capacity Representations [4.666056064419346]
効率的な符号化仮説は、感覚系の応答特性が入力の統計に適応していることを提案する。
エレガントではあるものの、情報理論の特性は実際的な設定や最適化の目的関数として使うのが難しいことで知られている。
ここでは、多様体の容量を直接最適化し、最大多様体容量表現(MMCR)が得られるという仮定を概説する。
論文 参考訳(メタデータ) (2023-03-06T17:26:30Z) - STIP: A SpatioTemporal Information-Preserving and Perception-Augmented
Model for High-Resolution Video Prediction [78.129039340528]
本稿では、上記の2つの問題を解決するために、時空間情報保存・知覚拡張モデル(STIP)を提案する。
提案モデルは,特徴抽出と状態遷移中の映像の時間的情報を保存することを目的としている。
実験結果から,提案したSTIPは,様々な最先端手法と比較して,より良好な映像品質で映像を予測できることが示唆された。
論文 参考訳(メタデータ) (2022-06-09T09:49:04Z) - Autoregressive Hidden Markov Models with partial knowledge on latent
space applied to aero-engines prognostics [2.179313476241343]
本稿では,ARPHMM(Auto Regressive Partially-hidden Markov Model)を用いて,センサデータに基づく機器の故障検出と予後予測を行う。
健康指標に基づいて,このモデルを用いて残りの生活を推定する方法を示す。
論文 参考訳(メタデータ) (2021-05-01T10:23:22Z) - Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference [55.35176938713946]
我々は、ガンマ分布の階層構造を用いて、その多確率層生成ネットワークを構築するディープ・オートエンコーディング・トピック・モデル(DATM)を開発した。
Weibull上向き変分エンコーダを提案する。このエンコーダは深層ニューラルネットワークを介して情報を上向きに伝播し,次いで下向き生成モデルを提案する。
大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。
論文 参考訳(メタデータ) (2020-06-15T22:22:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。