論文の概要: Transformer-Based Behavioral Representation Learning Enables Transfer
Learning for Mobile Sensing in Small Datasets
- arxiv url: http://arxiv.org/abs/2107.06097v1
- Date: Fri, 9 Jul 2021 22:26:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-14 14:30:49.055526
- Title: Transformer-Based Behavioral Representation Learning Enables Transfer
Learning for Mobile Sensing in Small Datasets
- Title（参考訳）: トランスフォーマティブな行動表現学習は、小さなデータセットにおける移動センシングのためのトランスファー学習を可能にする
- Authors: Mike A. Merrill and Tim Althoff
- Abstract要約: 時系列から一般化可能な特徴表現を学習できるモバイルセンシングデータのためのニューラルネットワークフレームワークを提供する。
このアーキテクチャは、CNNとTrans-formerアーキテクチャの利点を組み合わせて、より良い予測性能を実現する。
- 参考スコア（独自算出の注目度）: 4.276883061502341
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While deep learning has revolutionized research and applications in NLP and
computer vision, this has not yet been the case for behavioral modeling and
behavioral health applications. This is because the domain's datasets are
smaller, have heterogeneous datatypes, and typically exhibit a large degree of
missingness. Therefore, off-the-shelf deep learning models require significant,
often prohibitive, adaptation. Accordingly, many research applications still
rely on manually coded features with boosted tree models, sometimes with
task-specific features handcrafted by experts. Here, we address these
challenges by providing a neural architecture framework for mobile sensing data
that can learn generalizable feature representations from time series and
demonstrates the feasibility of transfer learning on small data domains through
finetuning. This architecture combines benefits from CNN and Trans-former
architectures to (1) enable better prediction performance by learning directly
from raw minute-level sensor data without the need for handcrafted features by
up to 0.33 ROC AUC, and (2) use pretraining to outperform simpler neural models
and boosted decision trees with data from as few a dozen participants.
- Abstract（参考訳）: ディープラーニングは、nlpとコンピュータビジョンの研究と応用に革命をもたらしたが、行動モデリングや行動健康アプリケーションでは、まだそうではない。
これは、ドメインのデータセットが小さく、異種データ型を持ち、通常、大量の欠落を示すためである。
したがって、既成のディープラーニングモデルは、重要な、しばしば禁止的な適応を必要とする。
それゆえ、多くの研究アプリケーションはまだ木モデルが強化された手動でコーディングされた機能に依存しており、時には専門家によって手作りされたタスク特有の機能がある。
本稿では,時系列から一般化可能な特徴表現を学習可能なモバイルセンシングデータのためのニューラルアーキテクチャフレームワークを提供し,微調整による小さなデータ領域での転送学習の実現可能性を示す。
このアーキテクチャは、cnnとtrans-formerアーキテクチャの利点を組み合わせることで、1) 手作りのフィーチャを0.33 roc aucまで必要とせずに、生の微小レベルのセンサーデータから直接学習することで、より良い予測性能を実現する。
関連論文リスト
- The Trifecta: Three simple techniques for training deeper
Forward-Forward networks [0.0]
本稿では,より深いネットワーク上でのフォワード・フォワードアルゴリズムを大幅に改善する3つの手法のコレクションを提案する。
我々の実験は、我々のモデルが、単純なデータセットのトレーニング速度とテスト精度の両方において、同様に構造化されたバックプロパゲーションベースのモデルと同等であることを示した。
論文 参考訳（メタデータ） (2023-11-29T22:44:32Z) - Homological Convolutional Neural Networks [4.615338063719135]
本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
論文 参考訳（メタデータ） (2023-08-26T08:48:51Z) - Efficient Model Adaptation for Continual Learning at the Edge [15.334881190102895]
ほとんどの機械学習(ML)システムは、トレーニングとデプロイメントの間、定常的で一致したデータ分散を前提としている。
データ分布は、環境要因、センサー特性、タスク・オブ・関心などの変化により、時間とともに変化することが多い。
本稿では,ドメインシフト下での効率的な連続学習のためのアダプタ・リコンフィグレータ(EAR)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T23:55:17Z) - NCART: Neural Classification and Regression Tree for Tabular Data [0.5439020425819]
NCARTはResidual Networksの修正版で、完全に接続されたレイヤを複数の識別不能な決定木で置き換える。
ニューラルネットワークのエンドツーエンド能力の恩恵を受けながら、解釈可能性を維持している。
NCARTアーキテクチャの単純さは、さまざまなサイズのデータセットに適している。
論文 参考訳（メタデータ） (2023-07-23T01:27:26Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - Transfer Learning with Deep Tabular Models [66.67017691983182]
上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。
そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。
上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
論文 参考訳（メタデータ） (2022-06-30T14:24:32Z) - CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。
特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文 参考訳（メタデータ） (2022-05-30T13:34:46Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳（メタデータ） (2022-04-21T05:27:09Z) - Evaluating deep transfer learning for whole-brain cognitive decoding [11.898286908882561]
転送学習(TL)は、少数のサンプルを持つデータセットにおける深層学習(DL)モデルの性能向上に適している。
本稿では,全脳機能型磁気共鳴画像(fMRI)データから認識状態の復号化にDLモデルを適用するためのTLを評価した。
論文 参考訳（メタデータ） (2021-11-01T15:44:49Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。