論文の概要: Data-driven Approaches to Surrogate Machine Learning Model Development

• arxiv url: http://arxiv.org/abs/2210.02631v1
• Date: Thu, 6 Oct 2022 01:30:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 15:53:14.838533
• Title: Data-driven Approaches to Surrogate Machine Learning Model Development
• Title（参考訳）: データ駆動アプローチによる機械学習モデル開発
• Authors: H. Rhys Jones, Tingting Mu and Andrei C. Popescu
• Abstract要約: 本稿では,機械学習モデル開発における3つの確立された手法の適応性を実証する。 これらの方法は、データ拡張、カスタム損失関数、転送学習である。 3つのテクニックを組み合わせることで、モデルパフォーマンスが大幅に向上すると考えています。
• 参考スコア（独自算出の注目度）: 3.2734466030053175
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We demonstrate the adaption of three established methods to the field of surrogate machine learning model development. These methods are data augmentation, custom loss functions and transfer learning. Each of these methods have seen widespread use in the field of machine learning, however, here we apply them specifically to surrogate machine learning model development. The machine learning model that forms the basis behind this work was intended to surrogate a traditional engineering model used in the UK nuclear industry. Previous performance of this model has been hampered by poor performance due to limited training data. Here, we demonstrate that through a combination of additional techniques, model performance can be significantly improved. We show that each of the aforementioned techniques have utility in their own right and in combination with one another. However, we see them best applied as part of a transfer learning operation. Five pre-trained surrogate models produced prior to this research were further trained with an augmented dataset and with our custom loss function. Through the combination of all three techniques, we see a significant improvement in model performance.
• Abstract（参考訳）: 本稿では,機械学習モデル開発における3つの確立した手法の適用例を示す。 これらの方法は、データ拡張、カスタム損失関数、転送学習である。 これらの手法は、機械学習の分野で広く使われているが、ここでは機械学習モデル開発を代理するために特に応用する。 この研究の背後にある基礎となる機械学習モデルは、イギリス原子力産業で使用される伝統的な工学モデルに取って代わることを目的としていた。 このモデルの以前の性能は、限られたトレーニングデータのため、性能の低下によって妨げられている。 ここでは,追加技術を組み合わせることで,モデル性能を大幅に改善できることを実証する。 以上の技術は,それぞれが独自の実用性を持ち,相互に組み合わさっていることを示す。 しかし,それらは転校学習操作の一部として最もよく適用されている。 この研究以前に作成された5つの事前訓練されたサロゲートモデルは、拡張データセットとカスタムロス関数でさらに訓練された。 3つのテクニックを組み合わせることで、モデルのパフォーマンスが大幅に向上しています。

関連論文リスト

• Machine Unlearning in Contrastive Learning [3.6218162133579694]
  本稿では,機械学習を効果的に行うためのモデルトレーニングのための,勾配制約に基づく新しいアプローチを提案する。 提案手法は,コントラスト学習モデルだけでなく,教師付き学習モデルにも有能な性能を示す。
  論文  参考訳（メタデータ） (2024-05-12T16:09:01Z)
• Cheap Learning: Maximising Performance of Language Models for Social Data Science Using Minimal Data [1.8692054990918079]
  近年発展してきた3つの安価な技術について概観する。 後者では、大規模言語モデルのゼロショットプロンプトの特定の事例について概観する。 我々は,すべての技術に対して優れた性能を示し,特に大規模言語モデルのプロンプトが,非常に低コストで高い精度を達成できることを示す。
  論文  参考訳（メタデータ） (2024-01-22T19:00:11Z)
• Has Your Pretrained Model Improved? A Multi-head Posterior Based Approach [25.927323251675386]
  我々は、世界的知識の源として各エンティティに関連するメタ機能を活用し、モデルからエンティティ表現を採用する。 本稿では,これらの表現とメタ機能との整合性を,事前学習モデルの評価指標として用いることを提案する。 提案手法の有効性は,関係データセットを用いたモデル,大規模言語モデル,画像モデルなど,様々な領域で実証されている。
  論文  参考訳（メタデータ） (2024-01-02T17:08:26Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• Machine Unlearning Methodology base on Stochastic Teacher Network [33.763901254862766]
  「忘れられる権利」は、データ所有者に、モデルトレーニングに使用したデータを積極的に取り出す権利を与える。 既存の機械学習手法は、ディープラーニングモデルから知識を素早く取り除くのに効果がないことが判明した。 本稿では,ネットワークを教師として利用して,忘れられたデータによる影響の軽減を図ることを提案する。
  論文  参考訳（メタデータ） (2023-08-28T06:05:23Z)
• ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model Reuse [59.500060790983994]
  本稿では、PyTorchバックエンドを利用して、モデル再利用のための包括的でユーザフレンドリなツールボックスであるZhiJianを紹介する。 ZhiJianは、PTMによるターゲットアーキテクチャ構築、PTMによるターゲットモデルチューニング、およびPTMに基づく推論を含む、モデル再利用に関するさまざまな視点を統一する新しいパラダイムを提示している。
  論文  参考訳（メタデータ） (2023-08-17T19:12:13Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Model-Based Deep Learning [155.063817656602]
  信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。 ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。 私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
  論文  参考訳（メタデータ） (2020-12-15T16:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。