Fugu-MT 論文翻訳(概要): Self-supervised Learning Method Using Transformer for Multi-dimensional Sensor Data Processing

論文の概要: Self-supervised Learning Method Using Transformer for Multi-dimensional Sensor Data Processing

arxiv url: http://arxiv.org/abs/2505.21918v1
Date: Wed, 28 May 2025 03:04:13 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-29 17:35:50.385885
Title: Self-supervised Learning Method Using Transformer for Multi-dimensional Sensor Data Processing
Title（参考訳）: 多次元センサデータ処理のための変圧器を用いた自己教師付き学習法
Authors: Haruki Kai, Tsuyoshi Okita,
Abstract要約: センサ信号を入力として,人間の行動認識のための深層学習アルゴリズムを開発した。本研究では,Transformerアーキテクチャに基づく事前学習型言語モデルを構築した。 3つの重要な特徴を組み込んだn次元数値処理変換器を提案する。
参考スコア（独自算出の注目度）: 3.5938832647391
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We developed a deep learning algorithm for human activity recognition using sensor signals as input. In this study, we built a pretrained language model based on the Transformer architecture, which is widely used in natural language processing. By leveraging this pretrained model, we aimed to improve performance on the downstream task of human activity recognition. While this task can be addressed using a vanilla Transformer, we propose an enhanced n-dimensional numerical processing Transformer that incorporates three key features: embedding n-dimensional numerical data through a linear layer, binning-based pre-processing, and a linear transformation in the output layer. We evaluated the effectiveness of our proposed model across five different datasets. Compared to the vanilla Transformer, our model demonstrated 10%-15% improvements in accuracy.
Abstract（参考訳）: センサ信号を入力として,人間の行動認識のための深層学習アルゴリズムを開発した。本研究では,自然言語処理に広く用いられているTransformerアーキテクチャに基づく事前学習型言語モデルを構築した。この事前学習モデルを活用することにより,人間行動認識の下流タスクの性能向上を目指した。本課題はバニラ変圧器を用いて対処できるが, 線形層にn次元数値データを埋め込み, ビニングベース前処理, 出力層に線形変換する3つの重要な特徴を組み込んだn次元数値処理変換器を提案する。提案モデルの有効性を5つの異なるデータセットで評価した。バニラトランスと比較して,精度が10%～15%向上した。

関連論文リスト

A Predictive Model Based on Transformer with Statistical Feature Embedding in Manufacturing Sensor Dataset [2.07180164747172]
本研究では,統計的特徴埋め込みとウィンドウ位置符号化を利用したトランスフォーマーに基づく新しい予測モデルを提案する。モデルの性能は, 断層検出と仮想気象学の2つの問題で評価され, ベースラインモデルよりも優れた結果を示した。結果は、様々な製造業におけるモデルの適用性を支持し、プロセス管理と収量を高める可能性を示している。
論文参考訳（メタデータ） (2024-07-09T08:59:27Z)
Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
論文参考訳（メタデータ） (2024-06-24T23:00:58Z)
Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文参考訳（メタデータ） (2023-05-26T00:43:02Z)
Transformer-based approaches to Sentiment Detection [55.41644538483948]
テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。 RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
論文参考訳（メタデータ） (2023-03-13T17:12:03Z)
CNN-transformer mixed model for object detection [3.5897534810405403]
本稿では,トランスを用いた畳み込みモジュールを提案する。 CNNが抽出した詳細特徴と変換器が抽出したグローバル特徴とを融合させることにより、モデルの認識精度を向上させることを目的とする。 Pascal VOCデータセットでの100ラウンドのトレーニングの後、結果の精度は81%に達し、resnet101[5]をバックボーンとして使用したRCNN[4]よりも4.6向上した。
論文参考訳（メタデータ） (2022-12-13T16:35:35Z)
The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in Transformers [59.87030906486969]
本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
論文参考訳（メタデータ） (2022-10-12T15:25:19Z)
Transformers as Neural Augmentors: Class Conditional Sentence Generation via Variational Bayes [0.0]
本稿では,変分オートエンコーダとエンコーダデコーダトランスモデルを組み合わせたニューラルネットワーク拡張手法を提案する。入力文を符号化・復号化しながら,そのクラス条件で入力言語の構文的・意味的表現をキャプチャする。本モデルでは,計算能力の少ない他のデータ拡張手法と比較して,現行モデルの性能を向上する。
論文参考訳（メタデータ） (2022-05-19T08:42:33Z)
ProFormer: Learning Data-efficient Representations of Body Movement with Prototype-based Feature Augmentation and Visual Transformers [31.908276711898548]
身体からのデータ効率の高い認識法は、画像のような配列として構造化された骨格配列をますます活用している。我々は、このパラダイムをトランスフォーマーネットワークの観点から見て、初めて、骨格運動のデータ効率の高いエンコーダとして視覚トランスフォーマーを探索する。私たちのパイプラインでは、画像のような表現としてキャストされたボディポーズシーケンスをパッチ埋め込みに変換し、深いメトリック学習に最適化されたビジュアルトランスフォーマーバックボーンに渡します。
論文参考訳（メタデータ） (2022-02-23T11:11:54Z)
Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文参考訳（メタデータ） (2022-02-22T02:51:11Z)
Multitask Learning and Joint Optimization for Transformer-RNN-Transducer Speech Recognition [13.198689566654107]
本稿では,マルチタスク学習,共同最適化,および変換器-RNN-トランスデューサシステムの共同復号法について検討する。提案手法は, 単語誤り率(WER)を16.6 %, 13.3 %削減できることを示す。
論文参考訳（メタデータ） (2020-11-02T06:38:06Z)
Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks [75.69896269357005]
Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。本稿では,自然言語処理タスクにmixupを適用する方法について検討する。我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
論文参考訳（メタデータ） (2020-10-05T23:37:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。