論文の概要: Scaling and Distilling Transformer Models for sEMG

• arxiv url: http://arxiv.org/abs/2507.22094v1
• Date: Tue, 29 Jul 2025 13:41:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-31 16:14:17.766747
• Title: Scaling and Distilling Transformer Models for sEMG
• Title（参考訳）: sEMG用変圧器のスケーリングと蒸留
• Authors: Nicholas Mehlman, Jean-Christophe Gagnon-Audet, Michael Shvartsman, Kelvin Niu, Alexander H. Miller, Shagun Sodhani,
• Abstract要約: 表面筋電図(sEMG)信号は、革新的なヒューマン・コンピュータ・インタフェースを開発する上で有望な道を提供する。 デプロイメント中のトレーニングデータと計算制約の制限は、sEMGタスクを解決するためのモデルサイズのスケールアップに関する調査を制限している。 我々は,バニラトランスモデルをsEMGデータ上で効果的にスケールアップし,ユーザ間性能を最大110Mパラメータに向上できることを実証した。
• 参考スコア（独自算出の注目度）: 45.62920901482346
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Surface electromyography (sEMG) signals offer a promising avenue for developing innovative human-computer interfaces by providing insights into muscular activity. However, the limited volume of training data and computational constraints during deployment have restricted the investigation of scaling up the model size for solving sEMG tasks. In this paper, we demonstrate that vanilla transformer models can be effectively scaled up on sEMG data and yield improved cross-user performance up to 110M parameters, surpassing the model size regime investigated in other sEMG research (usually <10M parameters). We show that >100M-parameter models can be effectively distilled into models 50x smaller with minimal loss of performance (<1.5% absolute). This results in efficient and expressive models suitable for complex real-time sEMG tasks in real-world environments.
• Abstract（参考訳）: 表面筋電図(sEMG)信号は、筋肉活動に関する洞察を提供することで、革新的な人-コンピュータインターフェースを開発するための有望な道を提供する。 しかし, sEMGタスクを解くためのモデルサイズをスケールアップする研究は, 限られたトレーニングデータ量と, 展開中の計算制約によって制限されている。 本稿では,バニラトランスモデルをsEMGデータ上で効果的にスケールアップし,他のsEMG研究(通常<10Mパラメータ)で検討されたモデルサイズレギュレーションを超越して,ユーザ間性能を最大110Mパラメータに向上させることを実証する。 以上の結果から,100Mパラメータモデルは50倍小さいモデルに効果的に蒸留でき,性能の損失が最小限である(<1.5%絶対値)。 これにより、実環境における複雑なリアルタイムsEMGタスクに適した効率的で表現力のあるモデルが得られる。

関連論文リスト

• Characterization and Mitigation of Training Instabilities in Microscaling Formats [6.025438902954768]
  大規模言語モデルのトレーニングは、高価な計算処理です。 次世代ハードウェアアクセラレータは、より低い精度の算術形式をサポートするようになった。 モデル学習におけるブロックスケール精度フォーマットの課題と実現可能性について検討する。
  論文  参考訳（メタデータ） (2025-06-25T18:25:08Z)
• PIGPVAE: Physics-Informed Gaussian Process Variational Autoencoders [42.8983261737774]
  本稿では,物理制約を組み込んでデータから学習し,性能を向上させる新しい生成モデルを提案する。 生成過程に物理モデルを組み込むことで、VAEアーキテクチャを拡張し、基礎となるダイナミクスをより効果的に捉えることができる。 我々はPIGPVAEが観測された分布を超えて現実的なサンプルを作成できることを示した。
  論文  参考訳（メタデータ） (2025-05-25T21:12:01Z)
• CEReBrO: Compact Encoder for Representations of Brain Oscillations Using Efficient Alternating Attention [53.539020807256904]
  交互注意(CEReBrO)を用いた脳振動の表現のための圧縮法について紹介する。 トークン化方式は、チャネルごとのパッチで脳波信号を表現します。 本研究では,チャネル内時間的ダイナミックスとチャネル間空間的相関を共同でモデル化し,通常の自己アテンションに比べて6倍少ないメモリで2倍の速度向上を実現するための注意機構を提案する。
  論文  参考訳（メタデータ） (2025-01-18T21:44:38Z)
• T-GMSI: A transformer-based generative model for spatial interpolation under sparse measurements [1.0931557410591526]
  空間補間のためのトランスフォーマーベース生成モデル (T-GMSI) を提案する。 T-GMSIは、従来の畳み込みベースの手法をViTに置き換えて特徴抽出とDEMを行い、特徴認識損失関数を組み込んで精度を高める。 T-GMSIは、70%以上の幅を持つデータセットから高品質な標高面を生成するのに優れ、微調整なしで様々な風景を横断する強い伝達性を示す。
  論文  参考訳（メタデータ） (2024-12-13T06:01:39Z)
• Graph Adapter of EEG Foundation Models for Parameter Efficient Fine Tuning [1.8946099300030472]
  これらの課題に対処するために,パラメータ効率のよい微細チューニング(PEFT)手法であるEEG-GraphAdapter (EGA)を提案する。 EGAは、GNNベースのモジュールとしてトレーニング済みの時間バックボーンモデルに統合され、バックボーンを凍結し、アダプタのみを微調整できる。 重度抑うつ障害(MDD)と不規則性検出(TUAB)の2つの医療関連下流課題に対する実験的評価 : 背骨BENDRモデルと比較して,EGAがF1スコアで最大16.1%向上することを示す。
  論文  参考訳（メタデータ） (2024-11-25T07:30:52Z)
• Graph Convolutional Neural Networks as Surrogate Models for Climate Simulation [0.1884913108327873]
  我々は,完全接続型ニューラルネットワーク(FCNN)とグラフ畳み込み型ニューラルネットワーク(GCNN)を活用し,高速なシミュレーションと不確実性定量化を実現する。 我々のサロゲートは、1つのA100 GPUで約310秒で80年シミュレーションしましたが、ESMモデルでは数週間でした。
  論文  参考訳（メタデータ） (2024-09-19T14:41:15Z)
• METRO: Efficient Denoising Pretraining of Large Scale Autoencoding Language Models with Model Generated Signals [151.3601429216877]
  本稿では,補助モデルにより生成された学習信号を用いて,大規模自動符号化言語モデルの事前学習を行う。 我々は「モデル生成dEnoising TRaining Objective」(METRO)というレシピを提案する。 結果、最大54億のパラメータからなるMETRO-LMは、GLUE、SuperGLUE、SQuADベンチマークで新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-04-13T21:39:15Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。