Fugu-MT 論文翻訳(概要): From calibration to parameter learning: Harnessing the scaling effects of big data in geoscientific modeling

論文の概要: From calibration to parameter learning: Harnessing the scaling effects of big data in geoscientific modeling

arxiv url: http://arxiv.org/abs/2007.15751v6
Date: Wed, 23 Mar 2022 00:54:33 GMT
ステータス: 処理完了
システム内更新日: 2022-11-05 15:01:17.810505
Title: From calibration to parameter learning: Harnessing the scaling effects of big data in geoscientific modeling
Title（参考訳）: 校正からパラメータ学習へ : 地理科学的モデリングにおけるビッグデータのスケーリング効果の活用
Authors: Wen-Ping Tsai, Dapeng Feng, Ming Pan, Hylke Beck, Kathryn Lawson, Yuan Yang, Jiangtao Liu, and Chaopeng Shen
Abstract要約: 本稿では,入力とパラメータのグローバルマッピングを効率的に学習する,微分可能なパラメータ学習フレームワークを提案する。トレーニングデータが増加するにつれて、dPLはより良いパフォーマンス、より物理的コヒーレンス、より良い一般化性を達成する。土壌の水分と流水から学んだ例を示し,dPLが既存の進化的・地域的手法を著しく上回った。
参考スコア（独自算出の注目度）: 2.9897531698031403
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The behaviors and skills of models in many geosciences (e.g., hydrology and ecosystem sciences) strongly depend on spatially-varying parameters that need calibration. A well-calibrated model can reasonably propagate information from observations to unobserved variables via model physics, but traditional calibration is highly inefficient and results in non-unique solutions. Here we propose a novel differentiable parameter learning (dPL) framework that efficiently learns a global mapping between inputs (and optionally responses) and parameters. Crucially, dPL exhibits beneficial scaling curves not previously demonstrated to geoscientists: as training data increases, dPL achieves better performance, more physical coherence, and better generalizability (across space and uncalibrated variables), all with orders-of-magnitude lower computational cost. We demonstrate examples that learned from soil moisture and streamflow, where dPL drastically outperformed existing evolutionary and regionalization methods, or required only ~12.5% of the training data to achieve similar performance. The generic scheme promotes the integration of deep learning and process-based models, without mandating reimplementation.
Abstract（参考訳）: 多くの地球科学(水文学や生態系科学など)におけるモデルの振る舞いとスキルは、キャリブレーションを必要とする空間的変動パラメータに強く依存する。良く校正されたモデルは、観測から観測されていない変数への情報をモデル物理学を通して合理的に伝播することができるが、従来の校正は極めて非効率であり、非一様解をもたらす。本稿では,入力(および任意応答)とパラメータのグローバルマッピングを効率的に学習する,新しい微分可能パラメータ学習(dpl)フレームワークを提案する。トレーニングデータが増えるにつれて、dplはより優れたパフォーマンス、より物理的なコヒーレンス、より優れた一般化性(クロススペースと非共役変数)を実現し、全て桁違いに計算コストを下げる。 dplが既存の進化的・地域的手法を圧倒的に上回り、同様の性能を達成するためにトレーニングデータの12.5%しか必要としなかった土壌水分と流れから学んだ例を示す。汎用的なスキームは、再実装を強制することなく、ディープラーニングとプロセスベースのモデルの統合を促進する。

関連論文リスト

What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文参考訳（メタデータ） (2024-11-12T09:52:40Z)
CGLearn: Consistent Gradient-Based Learning for Out-of-Distribution Generalization [0.7366405857677226]
本研究では,様々な環境における勾配の一致に依存する,単純だが強力なアプローチCGLearnを提案する。提案手法は, 線形および非線形の条件下での最先端手法と比較して, 優れた性能を示す。合成データセットと実世界のデータセットの総合的な実験は、様々なシナリオにおけるその有効性を強調している。
論文参考訳（メタデータ） (2024-11-09T02:36:39Z)
Beware of Calibration Data for Pruning Large Language Models [41.1689082093302]
トレーニング後のプルーニングは、リソース集約的な反復的なトレーニングを必要としない有望な方法である。キャリブレーションデータの効果は, 先進的な刈り取り戦略を設計するよりもさらに価値が高いことを示す。予備調査では、トレーニングデータに類似したキャリブレーションデータを使用することで、より良いパフォーマンスが得られることも明らかにした。
論文参考訳（メタデータ） (2024-10-23T09:36:21Z)
AutoScale: Automatic Prediction of Compute-optimal Data Composition for Training LLMs [61.13296177652599]
本稿では,異なる領域からのトレーニングデータの最適構成がスケール依存であることを示す。我々は、潜在的に大規模なトレーニングデータスケールでデータ合成を最適化するための、新しい実用的なアプローチである*AutoScale*を紹介します。 GPT-2Large and BERT pre-training の評価は,トレーニング収束性および下流性能向上における *AutoScale* の有効性を示す。
論文参考訳（メタデータ） (2024-07-29T17:06:30Z)
Simulation-Enhanced Data Augmentation for Machine Learning Pathloss Prediction [9.664420734674088]
本稿では,機械学習パスロス予測のための新しいシミュレーション強化データ拡張手法を提案する。本手法は,細胞被覆シミュレータから生成した合成データと,独立して収集した実世界のデータセットを統合する。合成データの統合は、異なる環境におけるモデルの一般化可能性を大幅に向上させる。
論文参考訳（メタデータ） (2024-02-03T00:38:08Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
論文参考訳（メタデータ） (2023-09-15T16:29:27Z)
To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文参考訳（メタデータ） (2023-05-22T17:02:15Z)
Differentiable modeling to unify machine learning and physical models and advance Geosciences [38.92849886903847]
微分可能地科学モデリング(DG)の概念,適用性,意義について概説する。微分可能(differentiable)とは、モデル変数に関する勾配を正確かつ効率的に計算すること。予備的な証拠は、DGが機械学習よりも優れた解釈可能性と因果性を提供することを示している。
論文参考訳（メタデータ） (2023-01-10T15:24:14Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)
Data-driven super-parameterization using deep learning: Experimentation with multi-scale Lorenz 96 systems and transfer-learning [0.0]
気象・気候のモデリングを安価に行うためのデータ駆動型SP(DD-SP)を提案する。同じ計算コストで、DD-SPはLRを大幅に上回り、特にスケール分離が欠如している場合、DD-Pよりも優れている。 DD-SPはSPよりもずっと安いが、その精度は長期統計を再現するのと同じであり、しばしば短期予測に匹敵する。
論文参考訳（メタデータ） (2020-02-25T20:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。