論文の概要: Foundation Models for Structural Health Monitoring
- arxiv url: http://arxiv.org/abs/2404.02944v1
- Date: Wed, 3 Apr 2024 13:32:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 18:54:31.486073
- Title: Foundation Models for Structural Health Monitoring
- Title(参考訳): 構造健康モニタリングの基礎モデル
- Authors: Luca Benfenati, Daniele Jahier Pagliari, Luca Zanatta, Yhorman Alexander Bedoya Velez, Andrea Acquaviva, Massimo Poncino, Enrico Macii, Luca Benini, Alessio Burrello,
- Abstract要約: 本稿では,トランスフォーマーニューラルネットワークをMasked Auto-Encoderアーキテクチャを用いて,構造的健康モニタリングのための基礎モデルとして初めて利用することを提案する。
自己教師付き事前学習を通じて、複数の大規模データセットから一般化可能な表現を学習する能力を実証する。
本研究は,3つの運用用インダクトのデータを用いた基礎モデルの有効性を示す。
- 参考スコア(独自算出の注目度): 17.37816294594306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Structural Health Monitoring (SHM) is a critical task for ensuring the safety and reliability of civil infrastructures, typically realized on bridges and viaducts by means of vibration monitoring. In this paper, we propose for the first time the use of Transformer neural networks, with a Masked Auto-Encoder architecture, as Foundation Models for SHM. We demonstrate the ability of these models to learn generalizable representations from multiple large datasets through self-supervised pre-training, which, coupled with task-specific fine-tuning, allows them to outperform state-of-the-art traditional methods on diverse tasks, including Anomaly Detection (AD) and Traffic Load Estimation (TLE). We then extensively explore model size versus accuracy trade-offs and experiment with Knowledge Distillation (KD) to improve the performance of smaller Transformers, enabling their embedding directly into the SHM edge nodes. We showcase the effectiveness of our foundation models using data from three operational viaducts. For AD, we achieve a near-perfect 99.9% accuracy with a monitoring time span of just 15 windows. In contrast, a state-of-the-art method based on Principal Component Analysis (PCA) obtains its first good result (95.03% accuracy) only considering 120 windows. On two different TLE tasks, our models obtain state-of-the-art performance on multiple evaluation metrics (R$^2$ score, MAE% and MSE%). On the first benchmark, we achieve an R$^2$ score of 0.97 and 0.85 for light and heavy vehicle traffic, respectively, while the best previous approach stops at 0.91 and 0.84. On the second one, we achieve an R$^2$ score of 0.54 versus the 0.10 of the best existing method.
- Abstract(参考訳): 構造物の健康モニタリング (SHM) は、構造物の安全性と信頼性を確保するための重要な課題であり、典型的には振動監視によって橋や高架橋で実現される。
本稿では,SHM の基盤モデルとして Masked Auto-Encoder アーキテクチャを用いた Transformer ニューラルネットワークの利用を初めて提案する。
これらのモデルが,タスク固有の微調整と相まって,異常検出(AD)や交通負荷推定(TLE)など,さまざまなタスクにおける従来の手法よりも優れている,自己教師付き事前学習を通じて,複数の大規模データセットから一般化可能な表現を学習する能力を示す。
次に、モデルサイズと精度のトレードオフを広範囲に検討し、知識蒸留(KD)を用いて、より小さなトランスフォーマーの性能を改善し、SHMエッジノードに直接埋め込むことを可能にする。
本研究は,3つの運用用インダクトのデータを用いた基礎モデルの有効性を示す。
ADでは、約99.9%の精度を達成でき、監視時間はわずか15ウィンドウである。
対照的に、PCA(Principal Component Analysis)に基づく最先端の手法では、120ウィンドウのみを考慮した最初の良い結果(95.03%の精度)が得られる。
2つの異なるTLEタスクにおいて、我々のモデルは複数の評価指標(R$^2$ score, MAE%, MSE%)で最先端の性能を得る。
第1のベンチマークでは、それぞれ軽自動車と重車両のトラフィックに対してR$^2$スコアが0.97と0.85であり、最も良いアプローチは0.91と0.84である。
第2に、R$^2$スコアが0.54であり、最も優れた既存手法の0.10である。
関連論文リスト
- FusionAD: Multi-modality Fusion for Prediction and Planning Tasks of
Autonomous Driving [20.037562671813]
FusionADは、最も重要なセンサー、カメラ、LiDARからの情報を融合する最初の統合フレームワークです。
カメラベースのエンドツーエンドUniADに対して、FMSと呼ばれるモダリティ対応の予測ステータス計画モジュールを融合支援する手法を確立する。
我々は、一般的に使用されているベンチマークnuのデータセット、我々の最先端性能、検出や追跡などの認識タスクにおける平均15%のベースライン、占有率の10%の予測精度、予測誤差の0.708から0.389の削減、衝突率の0.31%の削減など、幅広い実験を行った。
論文 参考訳(メタデータ) (2023-08-02T08:29:44Z) - Uncertainty Guided Adaptive Warping for Robust and Efficient Stereo
Matching [77.133400999703]
相関に基づくステレオマッチングは優れた性能を達成した。
固定モデルによる現在のメソッドは、さまざまなデータセットで均一に動作しない。
本稿では,ロバストなステレオマッチングのための相関を動的に計算する新しい視点を提案する。
論文 参考訳(メタデータ) (2023-07-26T09:47:37Z) - An Empirical Study of Multimodal Model Merging [148.48412442848795]
モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。
我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。
本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
論文 参考訳(メタデータ) (2023-04-28T15:43:21Z) - ATM Fraud Detection using Streaming Data Analytics [3.4543720783285052]
本研究では,静的およびストリーミングの文脈でATMの不正検出を行う手法を提案する。
どちらの文脈でも、RFは最高のモデルであることが判明した。
また、RFは次の最高の性能モデルよりも統計的に有意であることが実証的に証明されている。
論文 参考訳(メタデータ) (2023-03-08T23:40:18Z) - Cross-Modal Fine-Tuning: Align then Refine [83.37294254884446]
ORCAはクロスモーダルな微調整フレームワークであり、単一の大規模事前訓練モデルの適用範囲を様々に拡張する。
ORCAは12のモダリティから60以上のデータセットを含む3つのベンチマークで最先端の結果を得る。
論文 参考訳(メタデータ) (2023-02-11T16:32:28Z) - Utilizing Explainable AI for improving the Performance of Neural
Networks [6.670483888835783]
我々はXAIから始まるモデル予測を継続的に改善するリトレーニングパイプラインを提案する。
提案手法を実生活と公開両方のデータセットで評価する。
SHAPベースのリトレーニング手法を用いた実験は、タスクをカウントする人に対して、標準の等重量リトレーニングの精度を4%向上させる。
論文 参考訳(メタデータ) (2022-10-07T09:39:20Z) - Dimensionality Expansion of Load Monitoring Time Series and Transfer
Learning for EMS [0.7133136338850781]
エネルギー管理システムは、アプライアンスを監視し管理するために(非)侵入負荷監視(N)ILMに依存している。
本稿では,時系列の次元展開と移動学習に基づくEMS構築における負荷監視手法を提案する。
論文 参考訳(メタデータ) (2022-04-06T13:13:24Z) - Transforming Model Prediction for Tracking [109.08417327309937]
トランスフォーマーは、誘導バイアスの少ないグローバルな関係を捉え、より強力なターゲットモデルの予測を学ぶことができる。
提案したトラッカーをエンドツーエンドにトレーニングし、複数のトラッカーデータセットに関する総合的な実験を行うことで、その性能を検証する。
我々のトラッカーは3つのベンチマークで新しい技術状態を設定し、挑戦的なLaSOTデータセットで68.5%のAUCを達成した。
論文 参考訳(メタデータ) (2022-03-21T17:59:40Z) - When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。
精度を向上させるために,2つの軽量モジュールを提案する。
DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。
QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
論文 参考訳(メタデータ) (2021-05-27T13:51:42Z) - ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。
ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
論文 参考訳(メタデータ) (2020-06-01T05:00:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。