論文の概要: MelissaDL x Breed: Towards Data-Efficient On-line Supervised Training of Multi-parametric Surrogates with Active Learning

• arxiv url: http://arxiv.org/abs/2410.05860v1
• Date: Tue, 8 Oct 2024 09:52:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 12:30:00.620682
• Title: MelissaDL x Breed: Towards Data-Efficient On-line Supervised Training of Multi-parametric Surrogates with Active Learning
• Title（参考訳）: MelissaDL x Breed: アクティブラーニングによるマルチパラメトリックサロゲートのデータ効率向上を目指したオンライン指導
• Authors: Sofya Dymchenko, Abhishek Purandare, Bruno Raffin,
• Abstract要約: オンライン・サロゲート・トレーニングにおけるデータ効率を向上させるための新しいアクティブ・ラーニング手法を提案する。 シュロゲートは、初期条件と境界条件の異なるパラメータで、与えられた時間ステップを直接予測するように訓練される。 2次元熱PDEの予備的な結果は、この方法、ブリード (Breed) の可能性を示し、サロゲートの一般化能力を向上させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial intelligence is transforming scientific computing with deep neural network surrogates that approximate solutions to partial differential equations (PDEs). Traditional off-line training methods face issues with storage and I/O efficiency, as the training dataset has to be computed with numerical solvers up-front. Our previous work, the Melissa framework, addresses these problems by enabling data to be created "on-the-fly" and streamed directly into the training process. In this paper we introduce a new active learning method to enhance data-efficiency for on-line surrogate training. The surrogate is direct and multi-parametric, i.e., it is trained to predict a given timestep directly with different initial and boundary conditions parameters. Our approach uses Adaptive Multiple Importance Sampling guided by training loss statistics, in order to focus NN training on the difficult areas of the parameter space. Preliminary results for 2D heat PDE demonstrate the potential of this method, called Breed, to improve the generalization capabilities of surrogates while reducing computational overhead.
• Abstract（参考訳）: 人工知能は、偏微分方程式(PDE)の解を近似するディープニューラルネットワークによる科学計算を変換している。 従来のオフライントレーニング手法では、トレーニングデータセットを前もって数値計算器で計算する必要があるため、ストレージとI/O効率に関する問題に直面している。 私たちの以前の作業であるMelissaフレームワークは、データをオンザフライで作成し、トレーニングプロセスに直接ストリームすることで、これらの問題に対処しています。 本稿では,オンライン・サロゲート・トレーニングにおけるデータ効率を向上させるための新しいアクティブ・ラーニング手法を提案する。 シュロゲートは直接的かつ多パラメータであり、例えば、異なる初期条件と境界条件パラメータで与えられた時間ステップを直接予測するように訓練されている。 提案手法では,パラメータ空間の困難な領域にNNトレーニングを集中させるために,学習損失統計によって導かれる適応多重重要度サンプリングを用いる。 2次元熱PDEの予備的な結果は、この方法、ブリード (Breed) の可能性を実証し、計算オーバーヘッドを低減し、サロゲートの一般化能力を向上させる。

関連論文リスト

• Q-SFT: Q-Learning for Language Models via Supervised Fine-Tuning [62.984693936073974]
  価値に基づく強化学習は、幅広いマルチターン問題に対する効果的なポリシーを学ぶことができる。 現在の値ベースのRL法は、特に大規模な言語モデルの設定にスケールすることが困難であることが証明されている。 本稿では,これらの欠点に対処する新しいオフラインRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-07T21:36:52Z)
• Data-Efficient Operator Learning via Unsupervised Pretraining and In-Context Learning [45.78096783448304]
  本研究では,PDE演算子学習のための教師なし事前学習を設計する。 シミュレーションソリューションを使わずにラベルなしのPDEデータをマイニングし、物理に着想を得た再構成ベースのプロキシタスクでニューラルネットワークを事前訓練する。 提案手法は,データ効率が高く,より一般化可能であり,従来の視覚予測モデルよりも優れる。
  論文  参考訳（メタデータ） (2024-02-24T06:27:33Z)
• Machine Unlearning of Pre-trained Large Language Models [17.40601262379265]
  本研究では,大規模言語モデル(LLM)の文脈における「忘れられる権利」の概念について検討する。 我々は、事前学習されたモデルに焦点をあてて、機械学習を重要なソリューションとして探求する。
  論文  参考訳（メタデータ） (2024-02-23T07:43:26Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)
• Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
  ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。 モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。 ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T12:02:27Z)
• Transferring Learning Trajectories of Neural Networks [2.2299983745857896]
  深層ニューラルネットワーク(DNN)のトレーニングには計算コストがかかる。 我々は、与えられた学習軌跡を1つの初期パラメータから別のパラメータへ"転送する"という問題を定式化する。 移動パラメータが直接トレーニングの前に非自明な精度を達成できることを実証的に示し、スクラッチからトレーニングするよりもはるかに高速に訓練できることを実証した。
  論文  参考訳（メタデータ） (2023-05-23T14:46:32Z)
• Variational operator learning: A unified paradigm marrying training neural operators and solving partial differential equations [9.148052787201797]
  ニューラル演算子を訓練し、変分形式でPDEを解くための統一的な枠組みを提供する新しいパラダイムを提案する。 ラベルなしのトレーニングセットと5ラベルのみのシフトセットにより、VOLは、未ラベルデータの量に関して、そのテストエラーが電力法則で減少して解演算子を学習する。
  論文  参考訳（メタデータ） (2023-04-09T13:20:19Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)
• Adaptive Serverless Learning [114.36410688552579]
  本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。 提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。 通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
  論文  参考訳（メタデータ） (2020-08-24T13:23:02Z)
• AWAC: Accelerating Online Reinforcement Learning with Offline Datasets [84.94748183816547]
  提案手法は,従来の実演データとオンライン体験を組み合わせることで,スキルの素早い学習を可能にする。 以上の結果から,事前データを組み込むことで,ロボット工学を実践的な時間スケールまで学習するのに要する時間を短縮できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-16T17:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。