論文の概要: Probabilistic data quality assessment for structural monitoring data via outlier-resistant conditional diffusion model
- arxiv url: http://arxiv.org/abs/2604.26366v1
- Date: Wed, 29 Apr 2026 07:26:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-30 15:59:36.291212
- Title: Probabilistic data quality assessment for structural monitoring data via outlier-resistant conditional diffusion model
- Title(参考訳): 外乱耐性条件拡散モデルによる構造モニタリングデータの確率論的データ品質評価
- Authors: Qi Li, Yong Huang, Hui Li,
- Abstract要約: 本研究では,予測偏差に基づくSHMデータ品質評価手法を提案する。
提案した条件拡散モデル(CDM)は,時間的文脈を取り入れた標準拡散モデルを強化する。
このフレームワークは、データ品質評価の精度を大幅に改善する。
- 参考スコア(独自算出の注目度): 9.184776098919471
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Data quality assessment is an essential step that ensures the reliability of the subsequent structural health monitoring (SHM) tasks. This study proposes a prediction deviation-based SHM data quality assessment method using a univariate implicit auto-regressive model, enabling outlier diagnosis and data cleaning. The proposed conditional diffusion model (CDM) augments the standard diffusion model with a conditional embedding module to incorporate temporal context, quartile normalization to mitigate distribution skew, and a Huber loss to enhance robustness against outliers. Within this univariate implicit autoregressive framework, each data point is assigned an outlier probability, quantifying its degree of "outlier-ness", and a global quality evaluation score is computed to characterize the overall dataset quality. Extensive case studies utilizing operational data from real-world structures demonstrate that the proposed framework significantly improves the accuracy of data quality assessment, outperforming other strong baselines representative of clustering, isolation-based, and deep reconstruction methods. The effectiveness and robustness of the proposed framework are further demonstrated by the findings of ablation experiments and hyperparameter analysis.
- Abstract(参考訳): データ品質評価は、その後の構造的健康モニタリング(SHM)タスクの信頼性を保証するための重要なステップである。
本研究では,一変量暗黙的自己回帰モデルを用いた予測偏差に基づくSHMデータ品質評価手法を提案する。
提案した条件拡散モデル (CDM) は, 時間的文脈を組み込む条件埋め込みモジュール, 分布スキューを緩和する定性正規化, および, オフリエに対するロバスト性を高めるハマーロスを, 標準拡散モデルに拡張する。
この単変量暗黙的自己回帰フレームワーク内では、各データポイントが外れ値確率を割り当て、その「外れ値」の度合いを定量化し、全体のデータセット品質を特徴づける大域的品質評価スコアを算出する。
実世界構造からの運用データを利用した大規模ケーススタディにより,提案手法はデータ品質評価の精度を著しく向上し,クラスタリング,アイソレーション,深層復元など,他の強力なベースラインよりも優れていることが示された。
さらに, アブレーション実験とハイパーパラメータ解析の結果から, 提案フレームワークの有効性とロバスト性を実証した。
関連論文リスト
- Heterogeneous Multisource Transfer Learning via Model Averaging for Positive-Unlabeled Data [2.030810815519794]
本研究では,異種データソースからの情報を直接データ共有なしで統合するトランスファー学習フレームワークを提案する。
各ソースドメインタイプに対して、調整されたロジスティック回帰モデルを実行し、平均化によって知識をPUターゲットドメインに転送する。
提案手法は,特にラベル付きデータや異種環境において,予測精度とロバスト性において,他の比較手法よりも優れる。
論文 参考訳(メタデータ) (2025-11-14T03:15:31Z) - Improving Generative Methods for Causal Evaluation via Simulation-Based Inference [9.22158780078584]
既存の生成法は、観測データ(ソースデータ)に固定された合成データセットを生成する
本稿では、生成パラメータを不確実性としてモデル化し、ソース・データセットから後部分布を推定するフレームワークである、因果評価のためのシミュレーションベース推論(SBICE)を紹介する。
SBICEは、より現実的なデータセットを生成し、不確実性の下で因果ベンチマークに対する堅牢でデータ一貫性のあるアプローチをサポートすることにより、推定器評価の信頼性を向上させる。
論文 参考訳(メタデータ) (2025-09-02T23:35:22Z) - How Contaminated Is Your Benchmark? Quantifying Dataset Leakage in Large Language Models with Kernel Divergence [23.019102917957152]
Kernel Divergence Score (KDS) は、サンプル埋め込みのカーネル類似性行列間のばらつきを計算することによって、データセット汚染を評価する新しい手法である。
KDSは汚染レベルとほぼ完璧な相関を示し、既存のベースラインを上回っている。
論文 参考訳(メタデータ) (2025-02-02T05:50:39Z) - Testing and Improving the Robustness of Amortized Bayesian Inference for Cognitive Models [0.5223954072121659]
汚染物質観測とアウトリーチは、認知モデルのパラメータを推定する際にしばしば問題を引き起こす。
本研究では,アモルタイズされたベイズ推定を用いたパラメータ推定のロバスト性を検証・改善する。
提案手法は実装が簡単で実用的であり,外乱検出や除去が困難な分野に適用可能である。
論文 参考訳(メタデータ) (2024-12-29T21:22:24Z) - The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳(メタデータ) (2024-01-25T09:18:51Z) - GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。
我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。
GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文 参考訳(メタデータ) (2023-04-19T14:58:27Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Decomposed Adversarial Learned Inference [118.27187231452852]
我々は,DALI(Decomposed Adversarial Learned Inference)という新しいアプローチを提案する。
DALIは、データ空間とコード空間の両方の事前および条件分布を明示的に一致させる。
MNIST, CIFAR-10, CelebAデータセットにおけるDALIの有効性を検証する。
論文 参考訳(メタデータ) (2020-04-21T20:00:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。