論文の概要: Transformer-Based Approaches for Sensor-Based Human Activity Recognition: Opportunities and Challenges

• arxiv url: http://arxiv.org/abs/2410.13605v1
• Date: Thu, 17 Oct 2024 14:39:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:18:54.694374
• Title: Transformer-Based Approaches for Sensor-Based Human Activity Recognition: Opportunities and Challenges
• Title（参考訳）: センサに基づく人間活動認識のためのトランスフォーマーによるアプローチ--可能性と課題
• Authors: Clayton Souza Leite, Henry Mauranen, Aziza Zhanabatyrova, Yu Xiao,
• Abstract要約: トランスフォーマーは自然言語処理とコンピュータビジョンに優れており、センサーに基づくヒューマンアクティビティ認識(HAR)への道を開いた。 従来の研究では、トランスフォーマーは豊富なデータを利用したり、計算集約的な最適化アルゴリズムを使用したりした場合に、排他的よりも優れていることが示されていた。 しかし、これらのシナリオは、この分野のデータ不足と、リソース制約されたデバイスでのトレーニングと推論を頻繁に行う必要があるため、センサーベースのHARでは実現できない。
• 参考スコア（独自算出の注目度）: 0.5983301154764783
• License:
• Abstract: Transformers have excelled in natural language processing and computer vision, paving their way to sensor-based Human Activity Recognition (HAR). Previous studies show that transformers outperform their counterparts exclusively when they harness abundant data or employ compute-intensive optimization algorithms. However, neither of these scenarios is viable in sensor-based HAR due to the scarcity of data in this field and the frequent need to perform training and inference on resource-constrained devices. Our extensive investigation into various implementations of transformer-based versus non-transformer-based HAR using wearable sensors, encompassing more than 500 experiments, corroborates these concerns. We observe that transformer-based solutions pose higher computational demands, consistently yield inferior performance, and experience significant performance degradation when quantized to accommodate resource-constrained devices. Additionally, transformers demonstrate lower robustness to adversarial attacks, posing a potential threat to user trust in HAR.
• Abstract（参考訳）: トランスフォーマーは自然言語処理とコンピュータビジョンに優れており、センサーベースのヒューマンアクティビティ認識(HAR)への道を歩んでいる。 従来の研究では、トランスフォーマーは豊富なデータを利用したり、計算集約的な最適化アルゴリズムを使用したりした場合に、排他的よりも優れていることが示されていた。 しかし、これらのシナリオは、この分野でのデータの不足と、リソース制約のあるデバイスでのトレーニングと推論を行う必要が頻繁にあるため、センサーベースのHARでは実現できない。 ウェアラブルセンサを用いたトランスフォーマーベースと非トランスフォーマーベースHARの多種多様な実装について,500以上の実験を対象とし,これらの懸念を裏付ける。 我々は、トランスフォーマーベースのソリューションがより高い計算要求をもたらし、連続的に性能が低下し、リソース制約されたデバイスに対応するために量子化されると、大幅な性能劣化が生じることを観察する。 さらに、トランスフォーマーは敵攻撃に対する堅牢性の低下を示し、HARに対するユーザの信頼を脅かす可能性がある。

関連論文リスト

• On the Optimization and Generalization of Two-layer Transformers with Sign Gradient Descent [51.50999191584981]
  Sign Gradient Descent (SignGD) はアダムの効果的なサロゲートである。 我々はSignGDが雑音の多いデータセット上で2層トランスを最適化する方法について検討する。 SignGDの一般化が不十分なのはデータノイズによるものではなく、SignGDとAdamの両方が現実世界のタスクに高品質なデータを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2024-10-07T09:36:43Z)
• Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization [88.5582111768376]
  本研究では, ソフトマックスを用いた自己保持層と, 勾配勾配下での完全連結層からなるトランスフォーマーの最適化について検討した。 この結果から,データモデルにおける信号対雑音比に基づいて,小さなテストエラー位相と大規模なテストエラー状態とを区別できるシャープ条件を確立した。
  論文  参考訳（メタデータ） (2024-09-28T13:24:11Z)
• Are Transformers in Pre-trained LM A Good ASR Encoder? An Empirical Study [52.91899050612153]
  自動音声認識(ASR)のためのエンコーダとして再利用された事前訓練言語モデル(PLM)内のトランスフォーマー 本研究は,事前学習したLMのトランスフォーマーを組み込んだASRタスクにおいて,文字誤り率 (CER) とワード誤り率 (WER) の顕著な改善が認められた。 このことは、事前訓練されたトランスフォーマーに埋め込まれたセマンティックな技術を活用して、ASRシステムの能力を向上させる可能性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-09-26T11:31:18Z)
• FactoFormer: Factorized Hyperspectral Transformers with Self-Supervised Pretraining [36.44039681893334]
  ハイパースペクトル画像(HSI)は、豊富なスペクトルと空間情報を含む。 現在の最先端ハイパースペクトル変換器は、入力されたHSIサンプルをスペクトル次元に沿ってトークン化するのみである。 本稿では、自己教師付き事前学習手順を取り入れた新しい分解スペクトル空間変換器を提案する。
  論文  参考訳（メタデータ） (2023-09-18T02:05:52Z)
• Transformers in Reinforcement Learning: A Survey [7.622978576824539]
  トランスフォーマーは自然言語処理、コンピュータビジョン、ロボット工学といった領域に影響を与え、他のニューラルネットワークと比較してパフォーマンスを改善している。 この調査では、トランスフォーマーが強化学習(RL)でどのように使われているかを調査し、不安定なトレーニング、クレジット割り当て、解釈可能性の欠如、部分的可観測性といった課題に対処するための有望な解決策と見なされている。
  論文  参考訳（メタデータ） (2023-07-12T07:51:12Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Lightweight Transformers for Human Activity Recognition on Mobile Devices [0.5505634045241288]
  モバイルデバイス上でのヒューマンアクティビティ認識(HAR)は、軽量なニューラルモデルで実現可能であることが示されている。 本稿では,HART(Human Activity Recognition Transformer)について述べる。 HARタスクに対するいくつかの公開データセットによる実験により、HARTはFLOPS(FLoating-point Operations Per Second)とパラメータを減らし、現在の最先端結果を上回っていることが示された。
  論文  参考訳（メタデータ） (2022-09-22T09:42:08Z)
• Efficient Decoder-free Object Detection with Transformers [75.00499377197475]
  視覚変換器(ViT)は、物体検出アプローチのランドスケープを変化させている。 本稿では,デコーダフリー完全トランス(DFFT)オブジェクト検出器を提案する。 DFFT_SMALLは、トレーニングおよび推論段階で高い効率を達成する。
  論文  参考訳（メタデータ） (2022-06-14T13:22:19Z)
• Vision Transformer Equipped with Neural Resizer on Facial Expression Recognition Task [1.3048920509133808]
  本稿では,データ駆動方式で情報とダウンスケーリングを補償することでTransformerをサポートする新しいトレーニングフレームワークであるNeural Resizerを提案する。 F-PDLS損失関数を用いたニューラルリサイザ実験により,Transformerの変種での性能が向上した。
  論文  参考訳（メタデータ） (2022-04-05T13:04:04Z)
• ViDT: An Efficient and Effective Fully Transformer-based Object Detector [97.71746903042968]
  検出変換器は、オブジェクト検出のための最初のエンドツーエンド学習システムである。 視覚変換器は、画像分類のための最初の完全変換器ベースのアーキテクチャである。 本稿では、視覚・検出変換器(ViDT)を統合し、効果的で効率的な物体検出装置を構築する。
  論文  参考訳（メタデータ） (2021-10-08T06:32:05Z)
• Toward Transformer-Based Object Detection [12.704056181392415]
  ビジョントランスフォーマーは、共通の検出タスクヘッドによってバックボーンとして使用することができ、競合するCOCO結果を生成する。 vit-frcnnは、大きな事前訓練能力と高速微調整性能を含むトランスフォーマーに関連するいくつかの既知の特性を示す。 ViT-FRCNNは、オブジェクト検出などの複雑な視覚タスクの純粋なトランスフォーマーソリューションへの重要なステップストーンであると考えています。
  論文  参考訳（メタデータ） (2020-12-17T22:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。