論文の概要: Predicting Water Temperature Dynamics of Unmonitored Lakes with Meta Transfer Learning

• arxiv url: http://arxiv.org/abs/2011.05369v2
• Date: Thu, 17 Jun 2021 18:26:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 08:00:49.623738
• Title: Predicting Water Temperature Dynamics of Unmonitored Lakes with Meta Transfer Learning
• Title（参考訳）: メタトランスファー学習による未モニタリング湖の水温動態の予測
• Authors: Jared D. Willard, Jordan S. Read, Alison P. Appling, Samantha K. Oliver, Xiaowei Jia, Vipin Kumar
• Abstract要約: モニタリングされていない湖沼(ターゲット)の深度比温度を正確に予測する新しい移動学習フレームワークを実証する。 キャリブレーションプロセスベースモデリング (PB) と最近開発されたプロセス誘導深層学習 (PGDL) を用いた145のよくモニタリングされた湖の水源モデルを構築した。 わずかに監視された標的湖では、PGDL-MTLは標的湖自体で訓練されたPGDLモデルよりも優れていた。
• 参考スコア（独自算出の注目度）: 4.875286417006288
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most environmental data come from a minority of well-monitored sites. An ongoing challenge in the environmental sciences is transferring knowledge from monitored sites to unmonitored sites. Here, we demonstrate a novel transfer learning framework that accurately predicts depth-specific temperature in unmonitored lakes (targets) by borrowing models from well-monitored lakes (sources). This method, Meta Transfer Learning (MTL), builds a meta-learning model to predict transfer performance from candidate source models to targets using lake attributes and candidates' past performance. We constructed source models at 145 well-monitored lakes using calibrated process-based modeling (PB) and a recently developed approach called process-guided deep learning (PGDL). We applied MTL to either PB or PGDL source models (PB-MTL or PGDL-MTL, respectively) to predict temperatures in 305 target lakes treated as unmonitored in the Upper Midwestern United States. We show significantly improved performance relative to the uncalibrated process-based General Lake Model, where the median RMSE for the target lakes is $2.52^{\circ}C$. PB-MTL yielded a median RMSE of $2.43^{\circ}C$; PGDL-MTL yielded $2.16^{\circ}C$; and a PGDL-MTL ensemble of nine sources per target yielded $1.88^{\circ}C$. For sparsely monitored target lakes, PGDL-MTL often outperformed PGDL models trained on the target lakes themselves. Differences in maximum depth between the source and target were consistently the most important predictors. Our approach readily scales to thousands of lakes in the Midwestern United States, demonstrating that MTL with meaningful predictor variables and high-quality source models is a promising approach for many kinds of unmonitored systems and environmental variables.
• Abstract（参考訳）: ほとんどの環境データは、監視されている少数のサイトから来ている。 環境科学における現在進行中の課題は、監視対象のサイトから監視対象のサイトへ知識を移すことである。 本稿では,よく監視された湖(源流)からモデルを借りて,非監視湖(対象湖)の深部固有の温度を正確に予測する新しいトランスファー学習フレームワークを示す。 このメタトランスファー学習(Meta Transfer Learning, MTL)は,湖の属性と過去の性能を用いて,候補のソースモデルからターゲットへの転送性能を予測するメタラーニングモデルを構築する。 我々は,調整プロセスベースモデリング (pb) と最近開発されたプロセスガイド型深層学習 (pgdl) を用いて,145の高度モニタリング湖でソースモデルを構築した。 MTLをPBまたはPGDLソースモデル(PB-MTLまたはPGDL-MTL)に適用し,米国中西部の未モニタリング湖305湖の温度を推定した。 対象湖におけるRMSEの中央値は2.52^{\circ}C$。 PB-MTLは2.43^{\circ}C$、PGDL-MTLは2.16^{\circ}C$、PGDL-MTLは1つのターゲットの9つのソースのアンサンブルは1.88^{\circ}C$である。 わずかに監視された標的湖では、PGDL-MTLは標的湖自体で訓練されたPGDLモデルよりも優れていた。 ソースとターゲットの最大深度の違いは、常に最も重要な予測器であった。 提案手法はアメリカ合衆国中西部の何千もの湖に容易に適用でき,mtlが有意義な予測変数と高品質のソースモデルを持つことが,様々な非監視システムや環境変数に対して有望なアプローチであることを示す。

関連論文リスト

• Evaluating Deep Learning Approaches for Predictions in Unmonitored Basins with Continental-scale Stream Temperature Models [1.8067095934521364]
  最近の機械学習(ML)モデルは、大規模な空間スケールでの正確な予測に膨大なデータセットを利用することができる。 本研究では,モデル設計とインプットに必要なデータ,および性能向上のためのトレーニングについて考察する。
  論文  参考訳（メタデータ） (2024-10-23T15:36:59Z)
• LLaVA-MoD: Making LLaVA Tiny via MoE Knowledge Distillation [41.05687297326706]
  LLaVA-MoDは、小規模マルチモーダル言語モデルの効率的なトレーニングを可能にするために設計されたフレームワークである。 スパースミキサーアーキテクチャを言語モデルに統合することにより、s-MLLMのネットワーク構造を最適化する。 また,包括的知識移動を確保するために,先進的な知識移動戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-28T15:52:23Z)
• Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models [79.46938238953916]
  多様なアプリケーションへの微調整された大規模言語モデル(LLM)は、複雑な要求を満たすために不可欠である。 近年の研究では、微調整LDMをベースモデルと対応するデルタウェイトに分解し、低ランクまたは低ビットのアプローチで圧縮してコストを削減することが示唆されている。 本研究では,従来の低ランク圧縮法と低ビット圧縮法がタスク固有の微調整LDMのモデル性能を著しく損なうことを観察する。
  論文  参考訳（メタデータ） (2024-06-13T07:57:27Z)
• Weak-to-Strong Extrapolation Expedites Alignment [135.12769233630362]
  モデルと人間の嗜好との整合性を高めるために,ExPOと呼ばれる手法を提案する。 ExPOは市販のDPO/RLHFモデルを一貫して改善することを示した。 我々は、アライメントトレーニング中に学んだ報酬信号を増幅するExPOの本質に光を当てた。
  論文  参考訳（メタデータ） (2024-04-25T17:39:50Z)
• MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies [85.57899012821211]
  SLM(Small Language Models)は、LLM(Large Language Models)に代わるリソース効率の高いモデルである。 我々はMiniCPM、特に1.2Bと2.4Bの非埋め込みパラメータの変種を紹介する。 また、MiniCPM-DPO、MiniCPM-MoE、MiniCPM-128Kを含むMiniCPMファミリーについても紹介する。
  論文  参考訳（メタデータ） (2024-04-09T15:36:50Z)
• Deep Reinforcement Multi-agent Learning framework for Information Gathering with Local Gaussian Processes for Water Monitoring [3.2266662249755025]
  局所ガウス過程と深層強化学習を用いて効果的なモニタリングポリシを共同で取得することが提案されている。 このモデルの平均と分散の観察に基づく決定に基づく、深い畳み込み政策が提案されている。 エージェントはDouble Deep Q-Learningアルゴリズムを用いて、安全な方法で推定誤差を最小限に抑えるように訓練される。
  論文  参考訳（メタデータ） (2024-01-09T15:58:15Z)
• DeepSeek LLM: Scaling Open-Source Language Models with Longtermism [76.90033862238728]
  本稿では,2つのオープンソース構成である7Bと67Bにおける大規模モデルのスケーリングを容易にすることについて述べる。 スケーリング法則によってガイドされたDeepSeek LLMは、長期的視点でオープンソースの言語モデルを進化させるためのプロジェクトです。
  論文  参考訳（メタデータ） (2024-01-05T18:59:13Z)
• Scaling Relationship on Learning Mathematical Reasoning with Large Language Models [75.29595679428105]
  本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。 複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
  論文  参考訳（メタデータ） (2023-08-03T15:34:01Z)
• MiniLLM: Knowledge Distillation of Large Language Models [112.93051247165089]
  知識蒸留(KD)は,大規模言語モデル(LLM)の高い計算要求を低減させる,有望な手法である。 より小さな言語モデルにLPMを蒸留するKD手法を提案する。 提案手法は,120Mから13Bのパラメータを持つ異なるモデルファミリに対してスケーラブルである。
  論文  参考訳（メタデータ） (2023-06-14T14:44:03Z)
• Application of Machine Learning Methods in Inferring Surface Water Groundwater Exchanges using High Temporal Resolution Temperature Measurements [3.1428002830645916]
  地表面温度観測に基づいて,地表面/地表面交換フラックスを推定する機械学習(ML)と深層学習(DL)アルゴリズムについて検討した。 その結果, ML法とDL法の両方で表面/地表面交換フラックスを推定できることが示唆された。
  論文  参考訳（メタデータ） (2022-01-03T15:59:20Z)
• Machine Learning Emulation of Urban Land Surface Processes [0.0]
  我々は,22の都市地表面モデル(ULSM)から平均的なフラックスを訓練した都市ニューラルネットワーク(UNN)を開発した。 基準のULSM(Town Energy Balance; TEB)と比較すると、UNNはフラックス観測よりも精度が高く、計算コストも少なく、パラメータも少ない。 現在,本アプリケーションはトレーニングデータ(1サイト)に制約されているが,複数のULSMの強度をMLを用いて組み合わせることで表面フラックスのモデリングを改善する新しい手法を示す。
  論文  参考訳（メタデータ） (2021-12-21T18:47:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。