論文の概要: Water Quality Data Imputation via A Fast Latent Factorization of Tensors with PID-based Optimizer
- arxiv url: http://arxiv.org/abs/2503.06997v1
- Date: Mon, 10 Mar 2025 07:22:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 20:09:44.757066
- Title: Water Quality Data Imputation via A Fast Latent Factorization of Tensors with PID-based Optimizer
- Title（参考訳）: PID-based Optimizer を用いたテンソルの高速潜時分解による水質データ計算
- Authors: Qian Liu, Lan Wang, Bing Yang, Hao Wu,
- Abstract要約: センサ故障による水質データには多くの欠落点がある。
グラディエントDescent (SGD) によるPID (LFT) の潜在因子化は, 効率的な計算法であることが証明された。
本稿では,この問題に対処するためのPID(FLFT)モデルについて提案する。
- 参考スコア（独自算出の注目度）: 21.261626027956737
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Water quality data can supply a substantial decision support for water resources utilization and pollution prevention. However, there are numerous missing values in water quality data due to inescapable factors like sensor failure, thereby leading to biased result for hydrological analysis and failing to support environmental governance decision accurately. A Latent Factorization of Tensors (LFT) with Stochastic Gradient Descent (SGD) proves to be an efficient imputation method. However, a standard SGD-based LFT model commonly surfers from the slow convergence that impairs its efficiency. To tackle this issue, this paper proposes a Fast Latent Factorization of Tensors (FLFT) model. It constructs an adjusted instance error into SGD via leveraging a nonlinear PID controller to incorporates the past, current and future information of prediction error for improving convergence rate. Comparing with state-of-art models in real world datasets, the results of experiment indicate that the FLFT model achieves a better convergence rate and higher accuracy.
- Abstract（参考訳）: 水質データは、水資源の利用と汚染防止のための決定的な支援を提供することができる。
しかし, センサ故障などの要因が欠落しているため, 水文分析のバイアスが発生し, 環境管理の決定を正確に支持できないため, 水質データには多くの値が欠落している。
The Latent Factorization of Tensors (LFT) with Stochastic Gradient Descent (SGD) is proven to be a efficient imputation method。
しかしながら、標準的なSGDベースのLFTモデルは、その効率を損なう緩やかな収束から一般的にサーファーである。
この問題に対処するために,本論文ではテンソルの高速潜在因子化(FLFT)モデルを提案する。
非線形PIDコントローラを利用して、調整されたインスタンスエラーをSGDに構成し、予測エラーの過去、現在、未来情報を組み込んで収束率を向上させる。
実世界のデータセットの最先端モデルと比較して、実験の結果、FLFTモデルはより良い収束率と高い精度を達成することが示されている。
関連論文リスト
- A Causal Convolutional Low-rank Representation Model for Imputation of Water Quality Data [11.584987653534531]
本稿では,WQDの完全性を向上するために,WQDの欠落を示唆するCausal Convolutional Low-rank Representation(CLR)モデルを提案する。
3つの実世界の水質データセットに関する実験的研究は、提案されたCLRモデルが既存の最先端の計算モデルよりも優れていることを示した。
論文 参考訳（メタデータ） (2025-04-21T16:27:16Z) - Latent Tensor Factorization with Nonlinear PID Control for Missing Data Recovery in Non-Intrusive Load Monitoring [2.94258758663678]
非侵入負荷モニタリング(NILM)が重要なスマートグリッド技術として登場した。
本稿では,2次元のアイデアを持つテンソル(NPIL)モデルのPID-Incorporated Latent factorizationを提案する。
実世界のNILMデータセットを用いた実験結果から,提案したNPILモデルは,欠落したNILMデータを予測する際に,収束率と精度において最先端のモデルを上回ることを示した。
論文 参考訳（メタデータ） (2025-04-18T05:48:14Z) - Update hydrological states or meteorological forcings? Comparing data assimilation methods for differentiable hydrologic models [0.923607423080658]
データ同化(DA)は、より正確な予測のために、ほぼリアルタイムな観測によって水理モデルの内部状態を更新することを可能にする。
そこで我々は,降水データのみに対する調整器の最適化を含む,微分可能なモデルに対する変分DA法を開発した。
我々のDAフレームワークは、体系的な訓練データを必要としないため、河川網全体のDAスキームとして機能する可能性がある。
論文 参考訳（メタデータ） (2025-02-23T05:08:05Z) - Gen-DFL: Decision-Focused Generative Learning for Robust Decision Making [48.62706690668867]
意思決定型生成学習(Gen-DFL)は、生成モデルを利用して不確実性を適応的にモデル化し、意思決定品質を向上させる新しいフレームワークである。
本論文は,Gen-DFLが従来のDFLと比較して,最悪の性能バウンダリを改善できることを理論的に示す。
論文 参考訳（メタデータ） (2025-02-08T06:52:11Z) - Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。
提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。
DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
論文 参考訳（メタデータ） (2024-10-02T07:14:26Z) - Causal Deciphering and Inpainting in Spatio-Temporal Dynamics via Diffusion Model [45.45700202300292]
CaPaintは2段階のプロセスで因果推論能力を備えたデータとエンドウモデルの因果領域を特定することを目的としている。
微調整未条件拡散確率モデル(DDPM)を生成前として, 環境成分として定義されたマスクを埋め込む。
5つの実世界のSTベンチマークで実施された実験は、CaPaintの概念の統合により、モデルが4.3%から77.3%の改善を達成できることを示した。
論文 参考訳（メタデータ） (2024-09-29T08:18:50Z) - SciFlow: Empowering Lightweight Optical Flow Models with Self-Cleaning Iterations [44.92134227376008]
本稿では,SCI(Self-Cleaning Iteration)とRFL(Regression Focal Loss)の2つの相乗的手法を紹介する。
SCIとRFLは、反復洗練された光学流モデルにおいて、特に誤差伝播の緩和に有効である。
今回提案したSCIおよびRFL技術の有効性は,2つの異なる光フローモデルアーキテクチャで実証された。
論文 参考訳（メタデータ） (2024-04-11T21:41:55Z) - EdgeFD: An Edge-Friendly Drift-Aware Fault Diagnosis System for
Industrial IoT [0.0]
我々は,産業用モノのインターネット(IIoT)における頻繁なデータドリフトによる課題を軽減するため,DAWC(Drift-Aware Weight Consolidation)を提案する。
DAWCは複数のデータドリフトシナリオを効率的に管理し、エッジデバイス上での一定のモデル微調整の必要性を最小限にする。
包括的診断・可視化プラットフォームも開発しました。
論文 参考訳（メタデータ） (2023-10-07T06:48:07Z) - An Incomplete Tensor Tucker decomposition based Traffic Speed Prediction
Method [0.0]
この研究は、比例積分微分(PID)コントローラのユニークな利点をタッカー分解に基づくLFTモデルに統合する。
2つの主要都市交通道路速度データセットによる実験により,提案モデルが高い効率向上と高い競合予測精度を実現することを示す。
論文 参考訳（メタデータ） (2023-04-21T13:59:28Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z) - A Nonlinear PID-Enhanced Adaptive Latent Factor Analysis Model [6.2303427193075755]
高次元および不完全(HDI)データは、様々な産業応用において非常にインタラクティブな情報を保持する。
The Latent Factor (LF) model is significantly effective to extract valuable information from HDI data with proper gradient (SGD) algorithm。
SGDベースのLFAモデルは、現在の学習誤差のみを考慮するため、収束が遅い。
論文 参考訳（メタデータ） (2022-08-04T07:48:19Z) - Evaluating the Adversarial Robustness for Fourier Neural Operators [78.36413169647408]
フーリエ・ニューラル・オペレータ(FNO)は、ゼロショット超解像で乱流をシミュレートした最初の人物である。
我々はノルム有界データ入力摂動に基づくFNOの逆例を生成する。
以上の結果から,モデルの強靭性は摂動レベルの増加とともに急速に低下することが明らかとなった。
論文 参考訳（メタデータ） (2022-04-08T19:19:42Z) - Detection of Anomalies in a Time Series Data using InfluxDB and Python [0.0]
本論文では,時系列データに対するデータクリーニングと準備について述べる。
さらに,時系列データに異常なデータ点を検出するソリューションとして,コストに敏感な機械学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-15T17:27:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。