論文の概要: Is Attention All You Need For Actigraphy? Foundation Models of Wearable Accelerometer Data for Mental Health Research

• arxiv url: http://arxiv.org/abs/2411.15240v1
• Date: Fri, 22 Nov 2024 01:58:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:50.313117
• Title: Is Attention All You Need For Actigraphy? Foundation Models of Wearable Accelerometer Data for Mental Health Research
• Title（参考訳）: アクティグラフィーに必要なことは何か? : メンタルヘルス研究のためのウェアラブル加速度計データの基礎モデル
• Authors: Franklin Y. Ruan, Aiwei Zhang, Jenny Y. Oh, SouYoung Jin, Nicholas C Jacobson,
• Abstract要約: アクチノグラフィーに特化して設計された,事前訓練と完全注意に基づくモデルを開発した。 NHANES患者29,307名を対象に, PATをプレトレーニングした。 パラメータが200万未満で、モデル説明機能が組み込まれているため、PATは堅牢で、健康研究環境でのデプロイが容易である。
• 参考スコア（独自算出の注目度）: 2.015440876410741
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Wearable accelerometry (actigraphy) has provided valuable data for clinical insights since the 1970s and is increasingly important as wearable devices continue to become widespread. The effectiveness of actigraphy in research and clinical contexts is heavily dependent on the modeling architecture utilized. To address this, we developed the Pretrained Actigraphy Transformer (PAT)--the first pretrained and fully attention-based model designed specifically to handle actigraphy. PAT was pretrained on actigraphy from 29,307 participants in NHANES, enabling it to deliver state-of-the-art performance when fine-tuned across various actigraphy prediction tasks in the mental health domain, even in data-limited scenarios. For example, when trained to predict benzodiazepine usage using actigraphy from only 500 labeled participants, PAT achieved an 8.8 percentage-point AUC improvement over the best baseline. With fewer than 2 million parameters and built-in model explainability, PAT is robust yet easy to deploy in health research settings. GitHub: https://github.com/njacobsonlab/Pretrained-Actigraphy-Transformer/
• Abstract（参考訳）: ウェアラブル加速度計(アクティグラフィー)は、1970年代から臨床的な洞察のために貴重なデータを提供しており、ウェアラブルデバイスが普及し続けており、ますます重要になっている。 研究と臨床の文脈におけるアクチグラフィーの有効性は、使用したモデリングアーキテクチャに大きく依存する。 そこで本研究では,アクティグラフィに特化して設計された,事前学習型,完全注意型モデルであるPretrained Actigraphy Transformer(PAT)を開発した。 PATは、NHANESの29,307人のアクチグラフィーで事前訓練され、データ制限シナリオであっても、メンタルヘルス領域の様々なアクチグラフィ予測タスクを微調整することで、最先端のパフォーマンスを実現することができた。 例えば、わずか500人のラベル付き参加者のアクチグラフィーを用いてベンゾジアゼピンの使用を予測する訓練を行った場合、PATは最高のベースラインよりも8.8ポイントのAUC改善を達成した。 パラメータが200万未満で、モデル説明機能が組み込まれているため、PATは堅牢で、健康研究環境でのデプロイが容易である。 GitHub: https://github.com/njacobsonlab/Pretrained-Actigraphy-Transformer/

関連論文リスト

• Can bidirectional encoder become the ultimate winner for downstream applications of foundation models? [1.8120356834558644]
  基礎モデルには、事前学習、移動学習、自己指導学習の特徴がある。 BERTは、マスク付き言語モデルを用いて事前学習において、一方通行の言語モデリングのみを使用するという制限を突破した。 本稿では,GPT と BERT に基づく一方向モデルと双方向モデルを分析し,その目的に基づいて差分を比較する。
  論文  参考訳（メタデータ） (2024-11-27T03:31:14Z)
• Multi-Transmotion: Pre-trained Model for Human Motion Prediction [68.87010221355223]
  マルチトランスモーション(Multi-Transmotion)は、モダリティ事前トレーニング用に設計された革新的なトランスフォーマーベースのモデルである。 提案手法は,下流タスクにおける各種データセット間の競合性能を示す。
  論文  参考訳（メタデータ） (2024-11-04T23:15:21Z)
• LoGra-Med: Long Context Multi-Graph Alignment for Medical Vision-Language Model [55.80651780294357]
  最新の医療用マルチモーダル大規模言語モデル(med-MLLM)は、事前訓練において命令追従データを活用する。 LoGra-Medは新しいマルチグラフアライメントアルゴリズムで、画像のモダリティ、会話ベースの記述、拡張キャプション間でのトリプルト相関を強制する。 以上の結果から,LoGra-Medは医療用VQAの600K画像テキスト対に対してLAVA-Medと一致し,その10%でトレーニングした場合に有意に優れていた。
  論文  参考訳（メタデータ） (2024-10-03T15:52:03Z)
• mhGPT: A Lightweight Generative Pre-Trained Transformer for Mental Health Text Analysis [8.654701704101779]
  本稿では、メンタルヘルス関連ソーシャルメディアとPubMedの記事に基づいて訓練された、軽量な生成事前学習トランスフォーマであるmhGPTを紹介する。 mhGPTは限られたハードウェア制約の下で評価され、MentaLLaMAやGemmaのような最先端のモデルと比較された。
  論文  参考訳（メタデータ） (2024-08-15T17:01:57Z)
• Survey and Taxonomy: The Role of Data-Centric AI in Transformer-Based Time Series Forecasting [36.31269406067809]
  データ中心のAIは、AIモデルのトレーニング、特にトランスフォーマーベースのTSFモデルの効率的なトレーニングに不可欠である、と私たちは主張する。 我々は、データ中心のAIの観点から、これまでの研究成果をレビューし、トランスフォーマーベースのアーキテクチャとデータ中心のAIの将来の開発のための基礎的な作業を行うつもりです。
  論文  参考訳（メタデータ） (2024-07-29T08:27:21Z)
• BISeizuRe: BERT-Inspired Seizure Data Representation to Improve Epilepsy Monitoring [13.35453284825286]
  本研究では,BERTモデルを用いた脳波による発作検出の新しい手法を提案する。 BENDRは2段階のトレーニングプロセス、事前トレーニング、微調整を行う。 最適化されたモデルでは性能が大幅に向上し、0.23 FP/h、2.5$times$はベースラインモデルよりも低く、感度は低いが許容できる。
  論文  参考訳（メタデータ） (2024-06-27T14:09:10Z)
• Humanoid Locomotion as Next Token Prediction [84.21335675130021]
  我々のモデルは感覚運動軌道の自己回帰予測によって訓練された因果変換器である。 われわれのモデルでは、フルサイズのヒューマノイドがサンフランシスコでゼロショットで歩けることが示されている。 われわれのモデルは、わずか27時間の歩行データで訓練された場合でも現実世界に移行でき、後方歩行のような訓練中に見えないコマンドを一般化することができる。
  論文  参考訳（メタデータ） (2024-02-29T18:57:37Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Spatio-Temporal Encoding of Brain Dynamics with Surface Masked Autoencoders [10.097983222759884]
  表面仮面オートエンコーダ(sMAE)と表面仮面オートエンコーダ(MAE) これらのモデルは、皮質発達と構造関数の強力な潜在表現を学習することにより、入力のマスクされたバージョンから皮質特徴写像を再構築するように訓練されている。 以上の結果から, (v)sMAE事前学習モデルでは, 複数のタスクにおける表現型予測性能が約26%向上し,スクラッチからトレーニングしたモデルに対してより高速な収束が得られた。
  論文  参考訳（メタデータ） (2023-08-10T10:01:56Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Clinical Deterioration Prediction in Brazilian Hospitals Based on Artificial Neural Networks and Tree Decision Models [56.93322937189087]
  超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
  論文  参考訳（メタデータ） (2022-12-17T23:29:14Z)
• Textual Data Augmentation for Patient Outcomes Prediction [67.72545656557858]
  本稿では,患者の電子カルテに人工的な臨床ノートを作成するための新しいデータ拡張手法を提案する。 生成言語モデルGPT-2を微調整し、ラベル付きテキストを元のトレーニングデータで合成する。 今回,最も多い患者,すなわち30日間の寛解率について検討した。
  論文  参考訳（メタデータ） (2022-11-13T01:07:23Z)
• Unsupervised pre-training of graph transformers on patient population graphs [48.02011627390706]
  異種臨床データを扱うグラフ変換器を用いたネットワークを提案する。 自己教師型, 移動学習環境において, 事前学習方式の利点を示す。
  論文  参考訳（メタデータ） (2022-07-21T16:59:09Z)
• Unsupervised Pre-Training on Patient Population Graphs for Patient-Level Predictions [48.02011627390706]
  プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。 本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。 提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
  論文  参考訳（メタデータ） (2022-03-23T17:59:45Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• Mythological Medical Machine Learning: Boosting the Performance of a Deep Learning Medical Data Classifier Using Realistic Physiological Models [0.0]
  PTSDにより,T-wave Alternans (TWA) を含む人工心電図を180,000個生成した。 7万人以上の患者に25種類のリズムを分類するよう訓練されたディープニューラルネットワーク(DNN)は、出力層をバイナリクラスに修正した。 最も優れた手法は、事前訓練された不整脈DNN、人工データ、およびPTSD関連心電図データを用いて、両方の転送学習ステップを実行することで見出された。
  論文  参考訳（メタデータ） (2021-12-28T17:55:37Z)
• TrialGraph: Machine Intelligence Enabled Insight from Graph Modelling of Clinical Trials [0.0]
  我々はCT.gov, AACT, TrialTroveデータベースから収集した治験データセット(n=1191臨床試験、100万人の患者を代表する)を紹介する。 次に,グラフ機械学習アルゴリズムの数学的基礎と実装について詳述する。 我々はこれらのモデルを用いて、疾患、既往の医療状況、治療に関する情報を与えられた臨床試験の副作用情報を予測する訓練を行った。
  論文  参考訳（メタデータ） (2021-12-15T15:36:57Z)
• STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
  本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。 実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-07-15T02:53:11Z)
• Does BERT Pretrained on Clinical Notes Reveal Sensitive Data? [70.3631443249802]
  我々は、トレーニングされたBERTからPersonal Health Informationを復元するためのアプローチのバッテリーを設計する。 具体的には,患者の名前と関連した状態の回復を試みている。 簡単な探索法では,MIMIC-IIIコーパス上で訓練されたBERTから機密情報を有意に抽出できないことがわかった。
  論文  参考訳（メタデータ） (2021-04-15T20:40:05Z)
• Using Convolutional Variational Autoencoders to Predict Post-Trauma Health Outcomes from Actigraphy Data [4.668948267866486]
  うつ病と外傷後ストレス障害(PTSD)は、外傷性事象に関連する精神疾患である。 本研究は,調査用スマートウォッチを装着した1113名の被験者を対象に,ロコモター活動を用いた。 畳み込み変分オートエンコーダ(VAE)アーキテクチャは、アクティグラフィーデータから教師なしの特徴抽出に用いられた。
  論文  参考訳（メタデータ） (2020-11-14T22:48:12Z)
• How Effective is Task-Agnostic Data Augmentation for Pretrained Transformers? [7.727662147015879]
  タスクに依存しないデータ拡張は、事前訓練されたモデルでもコンピュータビジョンにおいて広く有効であることが証明されている。 事前訓練されたトランスフォーマーに適用した場合、これらのテクニックが本当に有効か尋ねる。 非事前学習モデルに対する強い改善を報告した手法は、事前学習した変換器の性能を一貫して改善することができない。
  論文  参考訳（メタデータ） (2020-10-05T03:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。