論文の概要: PICore: Physics-Informed Unsupervised Coreset Selection for Data Efficient Neural Operator Training
- arxiv url: http://arxiv.org/abs/2507.17151v1
- Date: Wed, 23 Jul 2025 02:32:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-24 22:33:14.834552
- Title: PICore: Physics-Informed Unsupervised Coreset Selection for Data Efficient Neural Operator Training
- Title（参考訳）: PICore:データ効率の良いニューラル演算子トレーニングのための物理インフォーム付き教師なしコアセット選択
- Authors: Anirudh Satheesh, Anant Khandelwal, Mucong Ding, Radu Balan,
- Abstract要約: ニューラル演算子を訓練するための教師なしコアセット選択フレームワークであるPICoreを提案する。
PICoreは、PDEソリューションへのアクセスを必要とせずに、最も有益なトレーニングサンプルを特定する。
PICoreは、教師付きコアセット選択法と比較してトレーニング効率を最大78%向上させる。
- 参考スコア（独自算出の注目度）: 15.40868763786354
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural operators offer a powerful paradigm for solving partial differential equations (PDEs) that cannot be solved analytically by learning mappings between function spaces. However, there are two main bottlenecks in training neural operators: they require a significant amount of training data to learn these mappings, and this data needs to be labeled, which can only be accessed via expensive simulations with numerical solvers. To alleviate both of these issues simultaneously, we propose PICore, an unsupervised coreset selection framework that identifies the most informative training samples without requiring access to ground-truth PDE solutions. PICore leverages a physics-informed loss to select unlabeled inputs by their potential contribution to operator learning. After selecting a compact subset of inputs, only those samples are simulated using numerical solvers to generate labels, reducing annotation costs. We then train the neural operator on the reduced labeled dataset, significantly decreasing training time as well. Across four diverse PDE benchmarks and multiple coreset selection strategies, PICore achieves up to 78% average increase in training efficiency relative to supervised coreset selection methods with minimal changes in accuracy. We provide code at https://github.com/Asatheesh6561/PICore.
- Abstract（参考訳）: ニューラル作用素は、関数空間間の写像を学習することで解析的に解決できない偏微分方程式(PDE)を解くための強力なパラダイムを提供する。
しかし、ニューラルネットワークのトレーニングには2つの大きなボトルネックがある。これらのマッピングを学習するためには、大量のトレーニングデータが必要である。
両問題を同時に緩和するために,PDEソリューションへのアクセスを必要とせず,最も情報に富んだトレーニングサンプルを識別する,教師なしコアセット選択フレームワークであるPICoreを提案する。
PICoreは物理インフォームド損失を利用して、演算子学習への潜在的貢献によってラベルなし入力を選択する。
入力のコンパクトなサブセットを選択した後、これらのサンプルのみが数値解法を用いてシミュレートされ、ラベルを生成し、アノテーションのコストを削減した。
次に、ラベル付きデータセットでニューラル演算子をトレーニングし、トレーニング時間も大幅に短縮します。
4つの異なるPDEベンチマークと複数のコアセット選択戦略に対して、PICoreは、最小限の精度で教師付きコアセット選択方法と比較して、トレーニング効率を最大78%向上させる。
私たちはhttps://github.com/Asatheesh6561/PICore.comでコードを提供しています。
関連論文リスト
- Zero-Shot Coreset Selection: Efficient Pruning for Unlabeled Data [22.45812577928658]
Coreset選択は、モデルをトレーニングするデータの代表的なサブセットを見つけることを目的としている。
ZCoreは、真実ラベルや候補データによるトレーニングなしに、コアセットを効率的に選択する手法である。
我々は、4つのデータセット上でZCoreを評価し、いくつかの最先端のラベルベースの手法より優れています。
論文 参考訳（メタデータ） (2024-11-22T21:17:49Z) - Characteristic Performance Study on Solving Oscillator ODEs via Soft-constrained Physics-informed Neural Network with Small Data [6.3295494018089435]
本稿では,物理インフォームドニューラルネットワーク(PINN),従来のニューラルネットワーク(NN),および微分方程式(DE)に関する従来の数値離散化法を比較した。
我々は,ソフト制約のPINNアプローチに注目し,その数学的枠組みと計算フローを正規Dsと部分Dsの解法として定式化した。
我々は、PINNのDeepXDEベースの実装が、トレーニングにおいて軽量コードであり、効率的なだけでなく、CPU/GPUプラットフォーム間で柔軟なことを実証した。
論文 参考訳（メタデータ） (2024-08-19T13:02:06Z) - Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。
しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文 参考訳（メタデータ） (2024-06-17T12:24:45Z) - Data-Efficient Operator Learning via Unsupervised Pretraining and In-Context Learning [45.78096783448304]
本研究では,PDE演算子学習のための教師なし事前学習を設計する。
シミュレーションソリューションを使わずにラベルなしのPDEデータをマイニングし、物理に着想を得た再構成ベースのプロキシタスクでニューラルネットワークを事前訓練する。
提案手法は,データ効率が高く,より一般化可能であり,従来の視覚予測モデルよりも優れる。
論文 参考訳（メタデータ） (2024-02-24T06:27:33Z) - D2 Pruning: Message Passing for Balancing Diversity and Difficulty in
Data Pruning [70.98091101459421]
コアセット選択は、トレーニングデータのサブセットを選択して、このサブセット(コアセットとも呼ばれる)でトレーニングされたモデルのパフォーマンスを最大化する。
コアセット選択のために,このデータセットグラフ上で前後のメッセージパッシングを利用する新しいプルーニングアルゴリズムD2プルーニングを提案する。
その結果、D2プルーニングは従来の最先端手法よりもコアセット選択を向上し、最大70%のプルーニングレートが得られた。
論文 参考訳（メタデータ） (2023-10-11T23:01:29Z) - Discrete Key-Value Bottleneck [95.61236311369821]
ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。
この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。
しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。
この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
論文 参考訳（メタデータ） (2022-07-22T17:52:30Z) - Mixing Deep Learning and Multiple Criteria Optimization: An Application
to Distributed Learning with Multiple Datasets [0.0]
トレーニングフェーズは、マシンラーニングプロセスにおいて最も重要なステージです。
本研究では,特定の入力とラベルに関連付けられた出力との距離を基準として,複数の基準最適化モデルを構築した。
MNISTデータを用いた数値分類において,このモデルと数値実験を実現するためのスカラー化手法を提案する。
論文 参考訳（メタデータ） (2021-12-02T16:00:44Z) - Low Budget Active Learning via Wasserstein Distance: An Integer
Programming Approach [81.19737119343438]
アクティブラーニング(Active Learning)とは、ラベル付きデータプールのコアサブセットをラベルに選択することで、ラベル付きデータでモデルをトレーニングするプロセスである。
本稿では,未ラベルプールからワッサーシュタイン距離を最小化するコアセットを選択するための新しい整数最適化問題を提案する。
我々の戦略は、ラベルのないプールで教師なし学習によって得られる高品質な潜伏的特徴を必要とする。
論文 参考訳（メタデータ） (2021-06-05T21:25:03Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳（メタデータ） (2020-09-08T13:26:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。