論文の概要: On the contribution of pre-trained models to accuracy and utility in modeling distributed energy resources

• arxiv url: http://arxiv.org/abs/2302.11679v1
• Date: Wed, 22 Feb 2023 22:29:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-24 16:59:49.261437
• Title: On the contribution of pre-trained models to accuracy and utility in modeling distributed energy resources
• Title（参考訳）: 分散エネルギー資源のモデリングにおける事前学習モデルの精度と有用性への寄与について
• Authors: Hussain Kazmi and Pierre Pinson
• Abstract要約: 本研究では,微調整の有無にかかわらず,事前学習モデルによる予測精度の向上を評価する。 事前学習されたモデルは異種エージェントに等しく改善するのだろうか。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their growing popularity, data-driven models of real-world dynamical systems require lots of data. However, due to sensing limitations as well as privacy concerns, this data is not always available, especially in domains such as energy. Pre-trained models using data gathered in similar contexts have shown enormous potential in addressing these concerns: they can improve predictive accuracy at a much lower observational data expense. Theoretically, due to the risk posed by negative transfer, this improvement is however neither uniform for all agents nor is it guaranteed. In this paper, using data from several distributed energy resources, we investigate and report preliminary findings on several key questions in this regard. First, we evaluate the improvement in predictive accuracy due to pre-trained models, both with and without fine-tuning. Subsequently, we consider the question of fairness: do pre-trained models create equal improvements for heterogeneous agents, and how does this translate to downstream utility? Answering these questions can help enable improvements in the creation, fine-tuning, and adoption of such pre-trained models.
• Abstract（参考訳）: 人気が高まっているにもかかわらず、実世界の動的システムのデータ駆動モデルは大量のデータを必要とする。 しかし、センサーの制限とプライバシー上の懸念のため、このデータは、特にエネルギーなどの領域で常に利用できるわけではない。 同様の文脈で収集されたデータを用いた事前学習モデルは、これらの懸念に対処する大きな可能性を示しており、より低い観測データ費用で予測精度を向上させることができる。 理論的には、負の移動によって生じるリスクのため、この改善はすべてのエージェントに対して均一でも保証されない。 本稿では,複数の分散エネルギー資源のデータを用いて,この点におけるいくつかの重要な疑問に対する予備的知見を調査・報告する。 まず,事前学習モデルによる予測精度の向上について,微調整の有無に関わらず評価する。 事前学習されたモデルは異質なエージェントに対して等しく改善するのだろうか。 これらの質問に答えることで、事前訓練されたモデルの作成、微調整、導入の改善が可能になる。

関連論文リスト

• Ask Your Distribution Shift if Pre-Training is Right for You [74.18516460467019]
  実際に、事前訓練されたモデルの微調整は、いくつかのケースではロバスト性を大幅に改善するが、他のケースではまったく改善しない。 分散シフト中のモデルの2つの障害モード – トレーニングデータの補間不足とバイアス – に注目する。 我々の研究は、親指の規則として、事前学習は、粗悪な外挿を緩和するがデータセットのバイアスを緩和する助けとなることを示唆している。
  論文  参考訳（メタデータ） (2024-02-29T23:46:28Z)
• On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
  混合データセットに対する生成モデルの訓練が与える影響について検討する。 まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。 我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
  論文  参考訳（メタデータ） (2023-09-30T16:41:04Z)
• Is Self-Supervised Pretraining Good for Extrapolation in Molecular Property Prediction? [16.211138511816642]
  物質科学において、一般に外挿と呼ばれる未観測値の予測は、特性予測にとって重要である。 実験により,モデルが絶対的特性値の正確な外挿を行えなかったにもかかわらず,自己教師型事前学習により,観測されていない特性値の相対的傾向を学習できることを実証的に明らかにする。
  論文  参考訳（メタデータ） (2023-08-16T03:38:43Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Overwriting Pretrained Bias with Finetuning Data [36.050345384273655]
  目的タスクと機密属性の相互関係を概念化した場合のバイアスや,データセット内の特定のグループを過小評価する場合のバイアスについて検討する。 事前訓練されたモデルの上に微調整されたモデルは、実際にそれらのバイアスを継承できるが、(2)このバイアスは、比較的小さな介入によって修正できる。 その結果、下流タスクのバイアスを軽減するためには、微調整データセットの慎重なキュレーションが重要であることが示唆され、事前訓練されたモデルのバイアスを補うこともできる。
  論文  参考訳（メタデータ） (2023-03-10T19:10:58Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Evaluating Predictive Uncertainty and Robustness to Distributional Shift Using Real World Data [0.0]
  シフト天気予報データセットを用いて、一般的な回帰作業のためのメトリクスを提案する。 また,これらの指標を用いたベースライン手法の評価を行った。
  論文  参考訳（メタデータ） (2021-11-08T17:32:10Z)
• The Evolution of Out-of-Distribution Robustness Throughout Fine-Tuning [25.85044477227461]
  このベースラインに対するアウト・オブ・ディストリビューションデータより正確であるモデルは「有効ロバスト性」を示す。 より大規模なデータセットで事前トレーニングされたモデルは、収束時に消滅するトレーニング中に効果的な堅牢性を示す。 本稿では, 最先端システムに効率的なロバスト性を拡張し, 最先端モデルの分布外精度を向上させるためのいくつかの戦略について論じる。
  論文  参考訳（メタデータ） (2021-06-30T06:21:42Z)
• Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future [73.03458424369657]
  公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。 過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。 我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
  論文  参考訳（メタデータ） (2021-06-08T14:48:20Z)
• Robust Data-Driven Error Compensation for a Battery Model [0.0]
  今日の大量のバッテリデータは、より正確で信頼性の高いシミュレーションにはまだ使われていません。 データ駆動型エラーモデルを導入し、既存の物理的動機付けモデルを強化します。 ニューラルネットワークは、既存の動的エラーを補償し、基礎となるデータの記述に基づいてさらに制限される。
  論文  参考訳（メタデータ） (2020-12-31T16:11:36Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。