論文の概要: Is Attention All You Need For Actigraphy? Foundation Models of Wearable Accelerometer Data for Mental Health Research

• arxiv url: http://arxiv.org/abs/2411.15240v2
• Date: Tue, 26 Nov 2024 06:11:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:36:24.330431
• Title: Is Attention All You Need For Actigraphy? Foundation Models of Wearable Accelerometer Data for Mental Health Research
• Title（参考訳）: アクティグラフィーに必要なことは何か? : メンタルヘルス研究のためのウェアラブル加速度計データの基礎モデル
• Authors: Franklin Y. Ruan, Aiwei Zhang, Jenny Y. Oh, SouYoung Jin, Nicholas C Jacobson,
• Abstract要約: アクチノグラフィーに特化して設計された,事前訓練と完全注意に基づくモデルを開発した。 NHANES患者29,307名を対象に, PATをプレトレーニングした。 パラメータが200万未満で、モデル説明機能が組み込まれているため、PATは堅牢で、健康研究環境でのデプロイが容易である。
• 参考スコア（独自算出の注目度）: 2.015440876410741
• License:
• Abstract: Wearable accelerometry (actigraphy) has provided valuable data for clinical insights since the 1970s and is increasingly important as wearable devices continue to become widespread. The effectiveness of actigraphy in research and clinical contexts is heavily dependent on the modeling architecture utilized. To address this, we developed the Pretrained Actigraphy Transformer (PAT)--the first pretrained and fully attention-based model designed specifically to handle actigraphy. PAT was pretrained on actigraphy from 29,307 participants in NHANES, enabling it to deliver state-of-the-art performance when fine-tuned across various actigraphy prediction tasks in the mental health domain, even in data-limited scenarios. For example, when trained to predict benzodiazepine usage using actigraphy from only 500 labeled participants, PAT achieved an 8.8 percentage-point AUC improvement over the best baseline. With fewer than 2 million parameters and built-in model explainability, PAT is robust yet easy to deploy in health research settings. GitHub: https://github.com/njacobsonlab/Pretrained-Actigraphy-Transformer/
• Abstract（参考訳）: ウェアラブル加速度計(アクティグラフィー)は、1970年代から臨床的な洞察のために貴重なデータを提供しており、ウェアラブルデバイスが普及し続けており、ますます重要になっている。 研究と臨床の文脈におけるアクチグラフィーの有効性は、使用したモデリングアーキテクチャに大きく依存する。 そこで本研究では,アクティグラフィに特化して設計された,事前学習型,完全注意型モデルであるPretrained Actigraphy Transformer(PAT)を開発した。 PATは、NHANESの29,307人のアクチグラフィーで事前訓練され、データ制限シナリオであっても、メンタルヘルス領域の様々なアクチグラフィ予測タスクを微調整することで、最先端のパフォーマンスを実現することができた。 例えば、わずか500人のラベル付き参加者のアクチグラフィーを用いてベンゾジアゼピンの使用を予測する訓練を行った場合、PATは最高のベースラインよりも8.8ポイントのAUC改善を達成した。 パラメータが200万未満で、モデル説明機能が組み込まれているため、PATは堅牢で、健康研究環境でのデプロイが容易である。 GitHub: https://github.com/njacobsonlab/Pretrained-Actigraphy-Transformer/

関連論文リスト

• Can bidirectional encoder become the ultimate winner for downstream applications of foundation models? [1.8120356834558644]
  基礎モデルには、事前学習、移動学習、自己指導学習の特徴がある。 BERTは、マスク付き言語モデルを用いて事前学習において、一方通行の言語モデリングのみを使用するという制限を突破した。 本稿では,GPT と BERT に基づく一方向モデルと双方向モデルを分析し,その目的に基づいて差分を比較する。
  論文  参考訳（メタデータ） (2024-11-27T03:31:14Z)
• Multi-Transmotion: Pre-trained Model for Human Motion Prediction [68.87010221355223]
  マルチトランスモーション(Multi-Transmotion)は、モダリティ事前トレーニング用に設計された革新的なトランスフォーマーベースのモデルである。 提案手法は,下流タスクにおける各種データセット間の競合性能を示す。
  論文  参考訳（メタデータ） (2024-11-04T23:15:21Z)
• mhGPT: A Lightweight Generative Pre-Trained Transformer for Mental Health Text Analysis [8.654701704101779]
  本稿では、メンタルヘルス関連ソーシャルメディアとPubMedの記事に基づいて訓練された、軽量な生成事前学習トランスフォーマであるmhGPTを紹介する。 mhGPTは限られたハードウェア制約の下で評価され、MentaLLaMAやGemmaのような最先端のモデルと比較された。
  論文  参考訳（メタデータ） (2024-08-15T17:01:57Z)
• Survey and Taxonomy: The Role of Data-Centric AI in Transformer-Based Time Series Forecasting [36.31269406067809]
  データ中心のAIは、AIモデルのトレーニング、特にトランスフォーマーベースのTSFモデルの効率的なトレーニングに不可欠である、と私たちは主張する。 我々は、データ中心のAIの観点から、これまでの研究成果をレビューし、トランスフォーマーベースのアーキテクチャとデータ中心のAIの将来の開発のための基礎的な作業を行うつもりです。
  論文  参考訳（メタデータ） (2024-07-29T08:27:21Z)
• Humanoid Locomotion as Next Token Prediction [84.21335675130021]
  我々のモデルは感覚運動軌道の自己回帰予測によって訓練された因果変換器である。 われわれのモデルでは、フルサイズのヒューマノイドがサンフランシスコでゼロショットで歩けることが示されている。 われわれのモデルは、わずか27時間の歩行データで訓練された場合でも現実世界に移行でき、後方歩行のような訓練中に見えないコマンドを一般化することができる。
  論文  参考訳（メタデータ） (2024-02-29T18:57:37Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Spatio-Temporal Encoding of Brain Dynamics with Surface Masked Autoencoders [10.097983222759884]
  表面仮面オートエンコーダ(sMAE)と表面仮面オートエンコーダ(MAE) これらのモデルは、皮質発達と構造関数の強力な潜在表現を学習することにより、入力のマスクされたバージョンから皮質特徴写像を再構築するように訓練されている。 以上の結果から, (v)sMAE事前学習モデルでは, 複数のタスクにおける表現型予測性能が約26%向上し,スクラッチからトレーニングしたモデルに対してより高速な収束が得られた。
  論文  参考訳（メタデータ） (2023-08-10T10:01:56Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
  本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。 実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-07-15T02:53:11Z)
• How Effective is Task-Agnostic Data Augmentation for Pretrained Transformers? [7.727662147015879]
  タスクに依存しないデータ拡張は、事前訓練されたモデルでもコンピュータビジョンにおいて広く有効であることが証明されている。 事前訓練されたトランスフォーマーに適用した場合、これらのテクニックが本当に有効か尋ねる。 非事前学習モデルに対する強い改善を報告した手法は、事前学習した変換器の性能を一貫して改善することができない。
  論文  参考訳（メタデータ） (2020-10-05T03:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。