論文の概要: Predicting Water Temperature Dynamics of Unmonitored Lakes with Meta
Transfer Learning
- arxiv url: http://arxiv.org/abs/2011.05369v2
- Date: Thu, 17 Jun 2021 18:26:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 08:00:49.623738
- Title: Predicting Water Temperature Dynamics of Unmonitored Lakes with Meta
Transfer Learning
- Title(参考訳): メタトランスファー学習による未モニタリング湖の水温動態の予測
- Authors: Jared D. Willard, Jordan S. Read, Alison P. Appling, Samantha K.
Oliver, Xiaowei Jia, Vipin Kumar
- Abstract要約: モニタリングされていない湖沼(ターゲット)の深度比温度を正確に予測する新しい移動学習フレームワークを実証する。
キャリブレーションプロセスベースモデリング (PB) と最近開発されたプロセス誘導深層学習 (PGDL) を用いた145のよくモニタリングされた湖の水源モデルを構築した。
わずかに監視された標的湖では、PGDL-MTLは標的湖自体で訓練されたPGDLモデルよりも優れていた。
- 参考スコア(独自算出の注目度): 4.875286417006288
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most environmental data come from a minority of well-monitored sites. An
ongoing challenge in the environmental sciences is transferring knowledge from
monitored sites to unmonitored sites. Here, we demonstrate a novel transfer
learning framework that accurately predicts depth-specific temperature in
unmonitored lakes (targets) by borrowing models from well-monitored lakes
(sources). This method, Meta Transfer Learning (MTL), builds a meta-learning
model to predict transfer performance from candidate source models to targets
using lake attributes and candidates' past performance. We constructed source
models at 145 well-monitored lakes using calibrated process-based modeling (PB)
and a recently developed approach called process-guided deep learning (PGDL).
We applied MTL to either PB or PGDL source models (PB-MTL or PGDL-MTL,
respectively) to predict temperatures in 305 target lakes treated as
unmonitored in the Upper Midwestern United States. We show significantly
improved performance relative to the uncalibrated process-based General Lake
Model, where the median RMSE for the target lakes is $2.52^{\circ}C$. PB-MTL
yielded a median RMSE of $2.43^{\circ}C$; PGDL-MTL yielded $2.16^{\circ}C$; and
a PGDL-MTL ensemble of nine sources per target yielded $1.88^{\circ}C$. For
sparsely monitored target lakes, PGDL-MTL often outperformed PGDL models
trained on the target lakes themselves. Differences in maximum depth between
the source and target were consistently the most important predictors. Our
approach readily scales to thousands of lakes in the Midwestern United States,
demonstrating that MTL with meaningful predictor variables and high-quality
source models is a promising approach for many kinds of unmonitored systems and
environmental variables.
- Abstract(参考訳): ほとんどの環境データは、監視されている少数のサイトから来ている。
環境科学における現在進行中の課題は、監視対象のサイトから監視対象のサイトへ知識を移すことである。
本稿では,よく監視された湖(源流)からモデルを借りて,非監視湖(対象湖)の深部固有の温度を正確に予測する新しいトランスファー学習フレームワークを示す。
このメタトランスファー学習(Meta Transfer Learning, MTL)は,湖の属性と過去の性能を用いて,候補のソースモデルからターゲットへの転送性能を予測するメタラーニングモデルを構築する。
我々は,調整プロセスベースモデリング (pb) と最近開発されたプロセスガイド型深層学習 (pgdl) を用いて,145の高度モニタリング湖でソースモデルを構築した。
MTLをPBまたはPGDLソースモデル(PB-MTLまたはPGDL-MTL)に適用し,米国中西部の未モニタリング湖305湖の温度を推定した。
対象湖におけるRMSEの中央値は2.52^{\circ}C$。
PB-MTLは2.43^{\circ}C$、PGDL-MTLは2.16^{\circ}C$、PGDL-MTLは1つのターゲットの9つのソースのアンサンブルは1.88^{\circ}C$である。
わずかに監視された標的湖では、PGDL-MTLは標的湖自体で訓練されたPGDLモデルよりも優れていた。
ソースとターゲットの最大深度の違いは、常に最も重要な予測器であった。
提案手法はアメリカ合衆国中西部の何千もの湖に容易に適用でき,mtlが有意義な予測変数と高品質のソースモデルを持つことが,様々な非監視システムや環境変数に対して有望なアプローチであることを示す。
関連論文リスト
- BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [55.61026644837707]
BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。
LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
これにより、1つのGPU上で0.5時間以内に70億重量のLLMをバイナライズし、良好な時間効率を示すことができる。
論文 参考訳(メタデータ) (2024-02-06T09:26:34Z) - Deep Reinforcement Multi-agent Learning framework for Information
Gathering with Local Gaussian Processes for Water Monitoring [3.2266662249755025]
局所ガウス過程と深層強化学習を用いて効果的なモニタリングポリシを共同で取得することが提案されている。
このモデルの平均と分散の観察に基づく決定に基づく、深い畳み込み政策が提案されている。
エージェントはDouble Deep Q-Learningアルゴリズムを用いて、安全な方法で推定誤差を最小限に抑えるように訓練される。
論文 参考訳(メタデータ) (2024-01-09T15:58:15Z) - DeepSeek LLM: Scaling Open-Source Language Models with Longtermism [76.90033862238728]
本稿では,2つのオープンソース構成である7Bと67Bにおける大規模モデルのスケーリングを容易にすることについて述べる。
スケーリング法則によってガイドされたDeepSeek LLMは、長期的視点でオープンソースの言語モデルを進化させるためのプロジェクトです。
論文 参考訳(メタデータ) (2024-01-05T18:59:13Z) - Large Language Models for Test-Free Fault Localization [11.080712737595174]
テストカバレッジ情報なしでバグの行を特定できる言語モデルに基づくフォールトローカライズ手法を提案する。
5億5000万、60億、160億のパラメータを持つ言語モデルを、手作業でキュレートされた小さなプログラムコーパスで微調整します。
実験により、LLMAOは最先端の機械学習フォールトローカライゼーション(MLFL)ベースラインを2.3%-54.4%改善し、トップ5の結果を14.4%-35.6%改善した。
論文 参考訳(メタデータ) (2023-10-03T01:26:39Z) - Scaling Relationship on Learning Mathematical Reasoning with Large
Language Models [75.29595679428105]
本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。
複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
論文 参考訳(メタデータ) (2023-08-03T15:34:01Z) - Knowledge Distillation of Large Language Models [123.36847200257805]
知識蒸留(KD)は,大規模言語モデル(LLM)の高い計算要求を低減させる,有望な手法である。
より小さな言語モデルにLPMを蒸留するKD手法を提案する。
提案手法は,120Mから13Bのパラメータを持つ異なるモデルファミリに対してスケーラブルである。
論文 参考訳(メタデータ) (2023-06-14T14:44:03Z) - Distilling Step-by-Step! Outperforming Larger Language Models with Less
Training Data and Smaller Model Sizes [91.58845026796149]
大規模言語モデルを上回る小さなモデルを訓練する新しいメカニズムであるDistilling Step-by-stepを導入する。
4つのNLPベンチマークで3つの結果を得た。
論文 参考訳(メタデータ) (2023-05-03T17:50:56Z) - Lane Change Intention Recognition and Vehicle Status Prediction for
Autonomous Vehicles [0.47248250311484113]
レーン変更プロセスは、自動運転車が周囲の環境をよりよく理解し、潜在的な安全リスクを認識し、交通安全を改善するのに役立つ。
本稿では,LCの意図を認識するための注意機構を備えた時間的畳み込みネットワークを最初に開発したLCプロセスに焦点を当てる。
出力変数間の本質的な関係を考慮すると、マルチタスク学習(MTL)フレームワークは複数のLC車両ステータスインジケータを同時に予測するために使用される。
論文 参考訳(メタデータ) (2023-04-25T20:15:26Z) - Application of Machine Learning Methods in Inferring Surface Water
Groundwater Exchanges using High Temporal Resolution Temperature Measurements [3.1428002830645916]
地表面温度観測に基づいて,地表面/地表面交換フラックスを推定する機械学習(ML)と深層学習(DL)アルゴリズムについて検討した。
その結果, ML法とDL法の両方で表面/地表面交換フラックスを推定できることが示唆された。
論文 参考訳(メタデータ) (2022-01-03T15:59:20Z) - Machine Learning Emulation of Urban Land Surface Processes [0.0]
我々は,22の都市地表面モデル(ULSM)から平均的なフラックスを訓練した都市ニューラルネットワーク(UNN)を開発した。
基準のULSM(Town Energy Balance; TEB)と比較すると、UNNはフラックス観測よりも精度が高く、計算コストも少なく、パラメータも少ない。
現在,本アプリケーションはトレーニングデータ(1サイト)に制約されているが,複数のULSMの強度をMLを用いて組み合わせることで表面フラックスのモデリングを改善する新しい手法を示す。
論文 参考訳(メタデータ) (2021-12-21T18:47:46Z) - CPM-2: Large-scale Cost-effective Pre-trained Language Models [71.59893315671997]
本稿では, PLM を用いた事前学習, 微調整, 推論の効率性問題に対処するための費用対効果技術について述べる。
我々は,既存のPLMをスクラッチからトレーニングする代わりに活用することで,事前学習プロセスの促進を目的とした知識継承を導入する。
計算資源が限られている大規模PLMに対して,新しい推論ツールキット,すなわちInfMoEを実装した。
論文 参考訳(メタデータ) (2021-06-20T15:43:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。