論文の概要: Transformer-Based Behavioral Representation Learning Enables Transfer
Learning for Mobile Sensing in Small Datasets
- arxiv url: http://arxiv.org/abs/2107.06097v1
- Date: Fri, 9 Jul 2021 22:26:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-14 14:30:49.055526
- Title: Transformer-Based Behavioral Representation Learning Enables Transfer
Learning for Mobile Sensing in Small Datasets
- Title（参考訳）: トランスフォーマティブな行動表現学習は、小さなデータセットにおける移動センシングのためのトランスファー学習を可能にする
- Authors: Mike A. Merrill and Tim Althoff
- Abstract要約: 時系列から一般化可能な特徴表現を学習できるモバイルセンシングデータのためのニューラルネットワークフレームワークを提供する。
このアーキテクチャは、CNNとTrans-formerアーキテクチャの利点を組み合わせて、より良い予測性能を実現する。
- 参考スコア（独自算出の注目度）: 4.276883061502341
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While deep learning has revolutionized research and applications in NLP and
computer vision, this has not yet been the case for behavioral modeling and
behavioral health applications. This is because the domain's datasets are
smaller, have heterogeneous datatypes, and typically exhibit a large degree of
missingness. Therefore, off-the-shelf deep learning models require significant,
often prohibitive, adaptation. Accordingly, many research applications still
rely on manually coded features with boosted tree models, sometimes with
task-specific features handcrafted by experts. Here, we address these
challenges by providing a neural architecture framework for mobile sensing data
that can learn generalizable feature representations from time series and
demonstrates the feasibility of transfer learning on small data domains through
finetuning. This architecture combines benefits from CNN and Trans-former
architectures to (1) enable better prediction performance by learning directly
from raw minute-level sensor data without the need for handcrafted features by
up to 0.33 ROC AUC, and (2) use pretraining to outperform simpler neural models
and boosted decision trees with data from as few a dozen participants.
- Abstract（参考訳）: ディープラーニングは、nlpとコンピュータビジョンの研究と応用に革命をもたらしたが、行動モデリングや行動健康アプリケーションでは、まだそうではない。
これは、ドメインのデータセットが小さく、異種データ型を持ち、通常、大量の欠落を示すためである。
したがって、既成のディープラーニングモデルは、重要な、しばしば禁止的な適応を必要とする。
それゆえ、多くの研究アプリケーションはまだ木モデルが強化された手動でコーディングされた機能に依存しており、時には専門家によって手作りされたタスク特有の機能がある。
本稿では,時系列から一般化可能な特徴表現を学習可能なモバイルセンシングデータのためのニューラルアーキテクチャフレームワークを提供し,微調整による小さなデータ領域での転送学習の実現可能性を示す。
このアーキテクチャは、cnnとtrans-formerアーキテクチャの利点を組み合わせることで、1) 手作りのフィーチャを0.33 roc aucまで必要とせずに、生の微小レベルのセンサーデータから直接学習することで、より良い予測性能を実現する。
関連論文リスト
- Principled and Efficient Transfer Learning of Deep Models via Neural
Collapse [35.365366092030904]
この研究は、神経崩壊(NC)と呼ばれる興味深い現象を通して、伝達学習の謎を掘り下げる
i) 事前学習時のモデル, クラス内変動の崩壊防止(ある程度)は, 入力データの内在的構造をよりよく保存し, モデル伝達性の向上につながること, (ii) 下流タスクの微調整モデルでは, 下流データ上でよりNCの高い特徴を得ることにより, 与えられたタスクの精度が向上すること, などである。
論文 参考訳（メタデータ） (2022-12-23T08:48:34Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳（メタデータ） (2022-11-15T10:15:21Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - Transfer Learning with Deep Tabular Models [66.67017691983182]
上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。
そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。
上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
論文 参考訳（メタデータ） (2022-06-30T14:24:32Z) - CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。
特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文 参考訳（メタデータ） (2022-05-30T13:34:46Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳（メタデータ） (2022-04-21T05:27:09Z) - Evaluating deep transfer learning for whole-brain cognitive decoding [11.898286908882561]
転送学習(TL)は、少数のサンプルを持つデータセットにおける深層学習(DL)モデルの性能向上に適している。
本稿では,全脳機能型磁気共鳴画像(fMRI)データから認識状態の復号化にDLモデルを適用するためのTLを評価した。
論文 参考訳（メタデータ） (2021-11-01T15:44:49Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [62.774208717294805]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Deep Structure Learning using Feature Extraction in Trained Projection
Space [0.0]
我々は、低次元空間における畳み込みによる特徴抽出を可能にするために、Randon-transform(線形データ投影)の自己調整およびデータ依存バージョンを用いてネットワークアーキテクチャを導入する。
PiNetという名前のフレームワークは、エンドツーエンドでトレーニングでき、ボリュームセグメンテーションタスクで有望なパフォーマンスを示す。
論文 参考訳（メタデータ） (2020-09-01T12:16:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。