論文の概要: Soft Sensing Transformer: Hundreds of Sensors are Worth a Single Word
- arxiv url: http://arxiv.org/abs/2111.05973v1
- Date: Wed, 10 Nov 2021 22:31:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-12 13:32:32.053358
- Title: Soft Sensing Transformer: Hundreds of Sensors are Worth a Single Word
- Title（参考訳）: ソフトセンシングトランスフォーマー:何百ものセンサーに1語の価値はある
- Authors: Chao Zhang, Jaswanth Yella, Yu Huang, Xiaoye Qian, Sergei Petrov,
Andrey Rzhetsky, Sthitie Bom
- Abstract要約: 我々は,Soft Sensing Transformerモデルによる産業用ビッグデータのモデル化の課題と有効性を示す。
文構造とセンサ読取の類似性を観察し,時系列における多次元センサ読取を自然言語で類似した方法で処理する。
その結果、トランスモデルは、自動エンコーダと長短期メモリ(LSTM)モデルに基づいて、ソフトセンシング分野のベンチマークモデルよりも優れていた。
- 参考スコア（独自算出の注目度）: 4.829772176792801
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid development of AI technology in recent years, there have been
many studies with deep learning models in soft sensing area. However, the
models have become more complex, yet, the data sets remain limited: researchers
are fitting million-parameter models with hundreds of data samples, which is
insufficient to exercise the effectiveness of their models and thus often fail
to perform when implemented in industrial applications. To solve this
long-lasting problem, we are providing large scale, high dimensional time
series manufacturing sensor data from Seagate Technology to the public. We
demonstrate the challenges and effectiveness of modeling industrial big data by
a Soft Sensing Transformer model on these data sets. Transformer is used
because, it has outperformed state-of-the-art techniques in Natural Language
Processing, and since then has also performed well in the direct application to
computer vision without introduction of image-specific inductive biases. We
observe the similarity of a sentence structure to the sensor readings and
process the multi-variable sensor readings in a time series in a similar manner
of sentences in natural language. The high-dimensional time-series data is
formatted into the same shape of embedded sentences and fed into the
transformer model. The results show that transformer model outperforms the
benchmark models in soft sensing field based on auto-encoder and long
short-term memory (LSTM) models. To the best of our knowledge, we are the first
team in academia or industry to benchmark the performance of original
transformer model with large-scale numerical soft sensing data.
- Abstract（参考訳）: 近年,AI技術の急速な発展に伴い,ソフトセンシング領域における深層学習モデルの研究が盛んに行われている。
研究者は数百のデータサンプルを100万パラメータモデルに適合させており、これらのモデルの有効性を行使するには不十分であり、産業アプリケーションで実装された場合、しばしば実行に失敗する。
この長期的課題を解決するため,我々はシーゲート技術を用いた大規模かつ高次元の時系列製造センサデータを提供する。
これらのデータセット上でのソフトセンシングトランスモデルによる産業用ビッグデータモデリングの課題と効果を実証する。
トランスフォーマーは、自然言語処理における最先端技術よりも優れており、それ以来、画像固有の帰納バイアスを導入することなくコンピュータビジョンへの直接適用でもうまく機能している。
文構造とセンサ読み取りの類似性を観察し、自然言語における文の類似性を用いて時系列で多変量センサ読み取りを行う。
高次元時系列データは、埋め込み文の同じ形状にフォーマットされ、トランスモデルに入力される。
その結果、トランスモデルは、自動エンコーダと長短期メモリ(LSTM)モデルに基づいて、ソフトセンシング分野のベンチマークモデルよりも優れていた。
私たちの知る限りでは、大規模な数値ソフトセンシングデータを用いて、オリジナルのトランスフォーマーモデルのパフォーマンスをベンチマークしたアカデミアや業界初のチームです。
関連論文リスト
- A deep latent variable model for semi-supervised multi-unit soft sensing in industrial processes [0.0]
半教師付きマルチユニットソフトセンシングのための潜時変動モデルを提案する。
この階層的で生成的なモデルは、ラベル付きデータとラベルなしデータの両方から学習するだけでなく、異なるユニットを共同でモデル化することができる。
半教師付き学習とマルチタスク学習を組み合わせることで,提案手法は優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2024-07-18T09:13:22Z) - A Predictive Model Based on Transformer with Statistical Feature Embedding in Manufacturing Sensor Dataset [2.07180164747172]
本研究では,統計的特徴埋め込みとウィンドウ位置符号化を利用したトランスフォーマーに基づく新しい予測モデルを提案する。
モデルの性能は, 断層検出と仮想気象学の2つの問題で評価され, ベースラインモデルよりも優れた結果を示した。
結果は、様々な製造業におけるモデルの適用性を支持し、プロセス管理と収量を高める可能性を示している。
論文 参考訳（メタデータ） (2024-07-09T08:59:27Z) - A Transformer-based Framework For Multi-variate Time Series: A Remaining
Useful Life Prediction Use Case [4.0466311968093365]
本研究は,時系列予測のためのエンコーダ変換アーキテクチャに基づくフレームワークを提案する。
C-MAPPSベンチマークデータセットの4セットすべてに対して,提案手法の有効性を検証した。
機械寿命の初期段階と劣化経路のモデル認識を可能にするため, 新たな拡張窓手法が提案された。
論文 参考訳（メタデータ） (2023-08-19T02:30:35Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳（メタデータ） (2023-05-26T00:43:02Z) - Robust representations of oil wells' intervals via sparse attention
mechanism [2.604557228169423]
正規化変換器(Reguformers)と呼ばれる効率的な変換器のクラスを導入する。
私たちの実験の焦点は、石油とガスのデータ、すなわちウェルログにあります。
このような問題に対する我々のモデルを評価するために、20以上の井戸からなるウェルログからなる産業規模のオープンデータセットで作業する。
論文 参考訳（メタデータ） (2022-12-29T09:56:33Z) - Advancing Plain Vision Transformer Towards Remote Sensing Foundation
Model [97.9548609175831]
約1億のパラメータを持つプレーンビジョントランスフォーマーを利用して、リモートセンシングタスク用にカスタマイズされた大規模なビジョンモデルを提案する。
具体的には、RS画像における大きな画像サイズと様々な向きのオブジェクトを扱うために、回転する様々なウィンドウアテンションを提案する。
検出タスクの実験は、DOTA-V1.0データセット上で81.16%のmAPを達成したすべての最先端モデルよりも、我々のモデルの方が優れていることを示す。
論文 参考訳（メタデータ） (2022-08-08T09:08:40Z) - Auto-encoder based Model for High-dimensional Imbalanced Industrial Data [6.339700878842761]
分散重み付きマルチヘッドオートエンコーダ分類モデルを導入し,高次元および高不均衡なデータによく適合する。
また、出力制御された表現学習とマルチタスク重み付けを利用して、複数の出力を同時に予測する。
論文 参考訳（メタデータ） (2021-08-04T14:34:59Z) - STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。
実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
論文 参考訳（メタデータ） (2021-07-15T02:53:11Z) - Visformer: The Vision-friendly Transformer [105.52122194322592]
我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。
同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
論文 参考訳（メタデータ） (2021-04-26T13:13:03Z) - Spatiotemporal Transformer for Video-based Person Re-identification [102.58619642363958]
我々は、強い学習能力にもかかわらず、バニラトランスフォーマーは過剰フィットのリスクの増加に苦しむことを示しています。
そこで本研究では,合成ビデオデータからモデルを事前学習し,下流領域に伝達する新しいパイプラインを提案する。
提案アルゴリズムは,3つの人気ビデオベース人物識別ベンチマークにおいて,精度向上を実現する。
論文 参考訳（メタデータ） (2021-03-30T16:19:27Z) - Long Range Arena: A Benchmark for Efficient Transformers [115.1654897514089]
ロングレンジアリーナベンチマーク(Long-rangearena benchmark)は、1Kドルから16Kドルまでの一連のタスクからなるスイートである。
我々は,新たに提案したベンチマークスイートを用いて,よく確立された10種類の長距離トランスフォーマーモデルを体系的に評価した。
論文 参考訳（メタデータ） (2020-11-08T15:53:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。