論文の概要: GVFs in the Real World: Making Predictions Online for Water Treatment
- arxiv url: http://arxiv.org/abs/2312.01624v1
- Date: Mon, 4 Dec 2023 04:49:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 16:23:41.224337
- Title: GVFs in the Real World: Making Predictions Online for Water Treatment
- Title（参考訳）: GVFs in the Real World: Making Predictions Online for Water Treatments
- Authors: Muhammad Kamran Janjua, Haseeb Shah, Martha White, Erfan Miahi, Marlos
C. Machado, Adam White
- Abstract要約: 実際の飲料水処理プラントにおける強化学習に基づく予測手法の適用について検討する。
まず、このデータセットを説明し、季節性、非定常性、部分観測可能性といった課題を強調します。
オンラインで学習するTDエージェントに対してオンライン更新を行わずに、純粋にオフラインで訓練されたTDエージェントを比較して、デプロイメントにおける学習の重要性を示す。
- 参考スコア（独自算出の注目度）: 23.651798878534635
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper we investigate the use of reinforcement-learning based
prediction approaches for a real drinking-water treatment plant. Developing
such a prediction system is a critical step on the path to optimizing and
automating water treatment. Before that, there are many questions to answer
about the predictability of the data, suitable neural network architectures,
how to overcome partial observability and more. We first describe this dataset,
and highlight challenges with seasonality, nonstationarity, partial
observability, and heterogeneity across sensors and operation modes of the
plant. We then describe General Value Function (GVF) predictions -- discounted
cumulative sums of observations -- and highlight why they might be preferable
to classical n-step predictions common in time series prediction. We discuss
how to use offline data to appropriately pre-train our temporal difference
learning (TD) agents that learn these GVF predictions, including how to select
hyperparameters for online fine-tuning in deployment. We find that the
TD-prediction agent obtains an overall lower normalized mean-squared error than
the n-step prediction agent. Finally, we show the importance of learning in
deployment, by comparing a TD agent trained purely offline with no online
updating to a TD agent that learns online. This final result is one of the
first to motivate the importance of adapting predictions in real-time, for
non-stationary high-volume systems in the real world.
- Abstract（参考訳）: 本稿では,実際の飲料水処理プラントにおける強化学習に基づく予測手法について検討する。
このような予測システムの開発は、水処理の最適化と自動化に向けた重要なステップである。
それ以前は、データの予測可能性、適切なニューラルネットワークアーキテクチャ、部分的可観測性を克服する方法など、多くの疑問に答えるべきだった。
まず、このデータセットを説明し、季節性、非定常性、部分的可観測性、およびセンサーとプラントの動作モード間の異種性に関する課題を強調する。
次に、一般値関数(GVF)予測(観測の累積和の割引)を記述し、時系列予測に共通する古典的なnステップ予測よりも好ましい理由を強調する。
我々は、オフラインデータを使用して、これらのGVF予測を学習する時間差分学習(TD)エージェントを適切に事前トレーニングする方法について議論する。
また,TD予測エージェントは,n段階予測エージェントよりも全体の正規化平均二乗誤差を求める。
最後に,オンライン更新なしにオフラインでトレーニングされたtdエージェントと,オンライン学習を行うtdエージェントを比較して,デプロイメントにおける学習の重要性を示す。
この最終結果は、実世界の非定常高ボリュームシステムに対して、リアルタイムに予測を適用することの重要性を動機づける最初の1つである。
関連論文リスト
- Online Residual Learning from Offline Experts for Pedestrian Tracking [5.047136039782827]
オンライン適応とオフライン学習予測を組み合わせたオンライン残留学習(ORL)を提案する。
より低いレベルでは、予測水平線の前後で生成された複数のオフライン予測を用いる。
より高いレベルでは、強化された下位レベルの予測器を専門家として扱い、エキスパートアドバイザフレームワークによる予測を採用する。
論文 参考訳（メタデータ） (2024-09-06T07:20:45Z) - Physics-guided Active Sample Reweighting for Urban Flow Prediction [75.24539704456791]
都市フロー予測は、バス、タクシー、ライド駆動モデルといった交通サービスのスループットを見積もる、微妙な時間的モデリングである。
最近の予測解は、物理学誘導機械学習(PGML)の概念による改善をもたらす。
我々は、PN(atized Physics-guided Network)を開発し、P-GASR(Physical-guided Active Sample Reweighting)を提案する。
論文 参考訳（メタデータ） (2024-07-18T15:44:23Z) - SPOT: Scalable 3D Pre-training via Occupancy Prediction for Learning Transferable 3D Representations [76.45009891152178]
トレーニング-ファインタニングアプローチは、さまざまな下流データセットとタスクをまたいだトレーニング済みのバックボーンを微調整することで、ラベル付けの負担を軽減することができる。
本稿では, 一般表現学習が, 占領予測のタスクを通じて達成できることを, 初めて示す。
本研究は,LiDAR 点の理解を促進するとともに,LiDAR の事前訓練における今後の進歩の道を開くことを目的とする。
論文 参考訳（メタデータ） (2023-09-19T11:13:01Z) - ADAPT: Efficient Multi-Agent Trajectory Prediction with Adaptation [0.0]
ADAPTはダイナミックウェイトラーニングによってシーン内の全てのエージェントの軌道を共同で予測するための新しいアプローチである。
提案手法は, 単一エージェントと複数エージェントの設定において, 最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2023-07-26T13:41:51Z) - LMD: Light-weight Prediction Quality Estimation for Object Detection in
Lidar Point Clouds [3.927702899922668]
Lidarのクラウドデータのオブジェクト検出は、自動運転とロボット工学にとって有望な技術だ。
不確実性推定は下流タスクにとって重要な要素であり、ディープニューラルネットワークは信頼性の高い予測であってもエラーを起こしやすい。
予測品質推定のための軽量後処理方式LidarMetaDetectを提案する。
本実験は,偽予測から真を分離する際の統計的信頼性を著しく向上させることを示した。
論文 参考訳（メタデータ） (2023-06-13T15:13:29Z) - Interpretable Self-Aware Neural Networks for Robust Trajectory
Prediction [50.79827516897913]
本稿では,意味概念間で不確実性を分散する軌道予測のための解釈可能なパラダイムを提案する。
実世界の自動運転データに対する我々のアプローチを検証し、最先端のベースラインよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-11-16T06:28:20Z) - What Should I Know? Using Meta-gradient Descent for Predictive Feature
Discovery in a Single Stream of Experience [63.75363908696257]
計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。
この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。
本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
論文 参考訳（メタデータ） (2022-06-13T21:31:06Z) - Taming Overconfident Prediction on Unlabeled Data from Hindsight [50.9088560433925]
ラベルのないデータに対する予測の不確実性を最小化することは、半教師付き学習において優れた性能を達成するための鍵となる要素である。
本稿では,アダプティブシャーニング(Adaptive Sharpening, ADS)と呼ばれる2つのメカニズムを提案する。
ADSは、プラグインにすることで最先端のSSLメソッドを大幅に改善する。
論文 参考訳（メタデータ） (2021-12-15T15:17:02Z) - Learning to Predict Trustworthiness with Steep Slope Loss [69.40817968905495]
本研究では,現実の大規模データセットにおける信頼性の予測問題について検討する。
我々は、先行技術損失関数で訓練された信頼性予測器が、正しい予測と誤った予測の両方を信頼に値するものとみなす傾向があることを観察する。
そこで我々は,2つのスライド状の曲線による不正確な予測から,特徴w.r.t.正しい予測を分離する,新たな急勾配損失を提案する。
論文 参考訳（メタデータ） (2021-09-30T19:19:09Z) - Random vector functional link neural network based ensemble deep
learning for short-term load forecasting [14.184042046855884]
本稿では,電力負荷予測のための新しいアンサンブルディープランダム関数リンク(edRVFL)を提案する。
隠されたレイヤは、深い表現学習を強制するために積み上げられます。
モデルは各層の出力をアンサンブルすることで予測を生成する。
論文 参考訳（メタデータ） (2021-07-30T01:20:48Z) - Long-Short Term Spatiotemporal Tensor Prediction for Passenger Flow
Profile [15.875569404476495]
本稿では,テンソルに基づく予測に焦点をあて,予測を改善するためのいくつかの実践的手法を提案する。
具体的には、長期予測のために「テンソル分解+2次元自己回帰移動平均(2D-ARMA)」モデルを提案する。
短期予測のために,テンソルクラスタリングに基づくテンソル補完を行い,過度に単純化され精度が保証されるのを避けることを提案する。
論文 参考訳（メタデータ） (2020-04-23T08:30:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。