論文の概要: Foundation Models for Structural Health Monitoring

• arxiv url: http://arxiv.org/abs/2404.02944v1
• Date: Wed, 3 Apr 2024 13:32:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-05 18:54:31.486073
• Title: Foundation Models for Structural Health Monitoring
• Title（参考訳）: 構造健康モニタリングの基礎モデル
• Authors: Luca Benfenati, Daniele Jahier Pagliari, Luca Zanatta, Yhorman Alexander Bedoya Velez, Andrea Acquaviva, Massimo Poncino, Enrico Macii, Luca Benini, Alessio Burrello,
• Abstract要約: 本稿では,トランスフォーマーニューラルネットワークをMasked Auto-Encoderアーキテクチャを用いて,構造的健康モニタリングのための基礎モデルとして初めて利用することを提案する。 自己教師付き事前学習を通じて、複数の大規模データセットから一般化可能な表現を学習する能力を実証する。 本研究は,3つの運用用インダクトのデータを用いた基礎モデルの有効性を示す。
• 参考スコア（独自算出の注目度）: 17.37816294594306
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structural Health Monitoring (SHM) is a critical task for ensuring the safety and reliability of civil infrastructures, typically realized on bridges and viaducts by means of vibration monitoring. In this paper, we propose for the first time the use of Transformer neural networks, with a Masked Auto-Encoder architecture, as Foundation Models for SHM. We demonstrate the ability of these models to learn generalizable representations from multiple large datasets through self-supervised pre-training, which, coupled with task-specific fine-tuning, allows them to outperform state-of-the-art traditional methods on diverse tasks, including Anomaly Detection (AD) and Traffic Load Estimation (TLE). We then extensively explore model size versus accuracy trade-offs and experiment with Knowledge Distillation (KD) to improve the performance of smaller Transformers, enabling their embedding directly into the SHM edge nodes. We showcase the effectiveness of our foundation models using data from three operational viaducts. For AD, we achieve a near-perfect 99.9% accuracy with a monitoring time span of just 15 windows. In contrast, a state-of-the-art method based on Principal Component Analysis (PCA) obtains its first good result (95.03% accuracy) only considering 120 windows. On two different TLE tasks, our models obtain state-of-the-art performance on multiple evaluation metrics (R$^2$ score, MAE% and MSE%). On the first benchmark, we achieve an R$^2$ score of 0.97 and 0.85 for light and heavy vehicle traffic, respectively, while the best previous approach stops at 0.91 and 0.84. On the second one, we achieve an R$^2$ score of 0.54 versus the 0.10 of the best existing method.
• Abstract（参考訳）: 構造物の健康モニタリング (SHM) は、構造物の安全性と信頼性を確保するための重要な課題であり、典型的には振動監視によって橋や高架橋で実現される。 本稿では,SHM の基盤モデルとして Masked Auto-Encoder アーキテクチャを用いた Transformer ニューラルネットワークの利用を初めて提案する。 これらのモデルが,タスク固有の微調整と相まって,異常検出(AD)や交通負荷推定(TLE)など,さまざまなタスクにおける従来の手法よりも優れている,自己教師付き事前学習を通じて,複数の大規模データセットから一般化可能な表現を学習する能力を示す。 次に、モデルサイズと精度のトレードオフを広範囲に検討し、知識蒸留(KD)を用いて、より小さなトランスフォーマーの性能を改善し、SHMエッジノードに直接埋め込むことを可能にする。 本研究は,3つの運用用インダクトのデータを用いた基礎モデルの有効性を示す。 ADでは、約99.9%の精度を達成でき、監視時間はわずか15ウィンドウである。 対照的に、PCA(Principal Component Analysis)に基づく最先端の手法では、120ウィンドウのみを考慮した最初の良い結果(95.03%の精度)が得られる。 2つの異なるTLEタスクにおいて、我々のモデルは複数の評価指標(R$^2$ score, MAE%, MSE%)で最先端の性能を得る。 第1のベンチマークでは、それぞれ軽自動車と重車両のトラフィックに対してR$^2$スコアが0.97と0.85であり、最も良いアプローチは0.91と0.84である。 第2に、R$^2$スコアが0.54であり、最も優れた既存手法の0.10である。

関連論文リスト

• Unsupervised Fault Detection using SAM with a Moving Window Approach [0.0]
  本稿では、SAM(High End Segment Anything Model)と移動ウィンドウアプローチを用いた教師なし手法を提案する。 我々は、微調整やラベル付きデータを必要とせずに、これらの課題を克服することを目指している。
  論文  参考訳（メタデータ） (2024-07-08T18:12:29Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• An Experimental Study on Exploring Strong Lightweight Vision Transformers via Masked Image Modeling Pre-Training [51.622652121580394]
  Masked Image Modeling (MIM) Pre-training for Large-scale Vision Transformer (ViTs) は、学習した自己教師型ViT機能に加えて、下流での有望なパフォーマンスを実現する。 本稿では,テキストテキストレメリーで軽量なViTの微調整性能が,この事前学習パラダイムの恩恵を受けるかどうかを問う。 バニラ/階層設計(5.7M$/6.5M$)による純軽量ViTの蒸留による事前トレーニングは、ImageNet-1で79.4%$/78.9%の精度で達成できる。
  論文  参考訳（メタデータ） (2024-04-18T14:14:44Z)
• FusionAD: Multi-modality Fusion for Prediction and Planning Tasks of Autonomous Driving [20.037562671813]
  FusionADは、最も重要なセンサー、カメラ、LiDARからの情報を融合する最初の統合フレームワークです。 カメラベースのエンドツーエンドUniADに対して、FMSと呼ばれるモダリティ対応の予測ステータス計画モジュールを融合支援する手法を確立する。 我々は、一般的に使用されているベンチマークnuのデータセット、我々の最先端性能、検出や追跡などの認識タスクにおける平均15%のベースライン、占有率の10%の予測精度、予測誤差の0.708から0.389の削減、衝突率の0.31%の削減など、幅広い実験を行った。
  論文  参考訳（メタデータ） (2023-08-02T08:29:44Z)
• Uncertainty Guided Adaptive Warping for Robust and Efficient Stereo Matching [77.133400999703]
  相関に基づくステレオマッチングは優れた性能を達成した。 固定モデルによる現在のメソッドは、さまざまなデータセットで均一に動作しない。 本稿では,ロバストなステレオマッチングのための相関を動的に計算する新しい視点を提案する。
  論文  参考訳（メタデータ） (2023-07-26T09:47:37Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• Utilizing Explainable AI for improving the Performance of Neural Networks [6.670483888835783]
  我々はXAIから始まるモデル予測を継続的に改善するリトレーニングパイプラインを提案する。 提案手法を実生活と公開両方のデータセットで評価する。 SHAPベースのリトレーニング手法を用いた実験は、タスクをカウントする人に対して、標準の等重量リトレーニングの精度を4%向上させる。
  論文  参考訳（メタデータ） (2022-10-07T09:39:20Z)
• Dimensionality Expansion of Load Monitoring Time Series and Transfer Learning for EMS [0.7133136338850781]
  エネルギー管理システムは、アプライアンスを監視し管理するために(非)侵入負荷監視(N)ILMに依存している。 本稿では,時系列の次元展開と移動学習に基づくEMS構築における負荷監視手法を提案する。
  論文  参考訳（メタデータ） (2022-04-06T13:13:24Z)
• When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
  正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。 精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
  論文  参考訳（メタデータ） (2021-05-27T13:51:42Z)
• ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
  本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。 ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
  論文  参考訳（メタデータ） (2020-06-01T05:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。