論文の概要: Learning where to learn: Training data distribution optimization for scientific machine learning
- arxiv url: http://arxiv.org/abs/2505.21626v2
- Date: Wed, 08 Oct 2025 02:51:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-09 14:21:18.021604
- Title: Learning where to learn: Training data distribution optimization for scientific machine learning
- Title（参考訳）: 学習するべき場所:科学機械学習のためのデータ分散最適化の訓練
- Authors: Nicolas Guerra, Nicholas H. Nelsen, Yunan Yang,
- Abstract要約: 科学的機械学習では、モデルは常にパラメータ値や境界条件が訓練で使用されるものから遠く離れている。
本稿では,平均予測誤差を最小限に抑えるトレーニングデータ分布を設計する学習と学習の課題について検討する。
- 参考スコア（独自算出の注目度）: 4.726397480637032
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In scientific machine learning, models are routinely deployed with parameter values or boundary conditions far from those used in training. This paper studies the learning-where-to-learn problem of designing a training data distribution that minimizes average prediction error across a family of deployment regimes. A theoretical analysis shows how the training distribution shapes deployment accuracy. This motivates two adaptive algorithms based on bilevel or alternating optimization in the space of probability measures. Discretized implementations using parametric distribution classes or nonparametric particle-based gradient flows deliver optimized training distributions that outperform nonadaptive designs. Once trained, the resulting models exhibit improved sample complexity and robustness to distribution shift. This framework unlocks the potential of principled data acquisition for learning functions and solution operators of partial differential equations.
- Abstract（参考訳）: 科学的機械学習では、モデルは常にパラメータ値や境界条件が訓練で使用されるものから遠く離れている。
本稿では,展開系統における平均予測誤差を最小限に抑える訓練データ分布を設計する学習と学習の課題について考察する。
理論的解析は、トレーニング分布がどのようにデプロイメントの正確さを形作るかを示している。
これは、確率測度の空間における双レベルまたは交互最適化に基づく2つの適応アルゴリズムを動機付けている。
パラメトリック分布クラスや非パラメトリック粒子ベース勾配流を用いた離散化実装は、非適応的設計よりも優れた最適化されたトレーニング分布を提供する。
トレーニングが完了すると、結果として得られたモデルは、分散シフトに対するサンプルの複雑さと堅牢性を改善した。
このフレームワークは、偏微分方程式の学習関数や解演算子に対する原理的データ取得の可能性を解き放つ。
関連論文リスト
- Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。
生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
論文 参考訳（メタデータ） (2025-10-16T03:37:16Z) - SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。
トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
論文 参考訳（メタデータ） (2025-08-07T03:50:48Z) - Bias as a Virtue: Rethinking Generalization under Distribution Shifts [7.389812496011288]
機械学習モデルは、トレーニングデータとは異なるデータ分散にデプロイされると、しばしば劣化する。
また,IDバイアスの増大は,より優れたアウト・オブ・ディストリビューション(OOD)一般化につながる可能性が示唆された。
我々の研究は、一般化を改善するための実践的な方法と、堅牢な機械学習におけるバイアスの役割を再考するための理論的枠組みの両方を提供する。
論文 参考訳（メタデータ） (2025-05-31T05:54:49Z) - Distributionally Robust Graph Out-of-Distribution Recommendation via Diffusion Model [7.92181856602497]
OODレコメンデーション(DRGO)のための分散ロバストグラフモデルを設計する。
具体的には,遅延空間における雑音効果を軽減するために,単純かつ効果的な拡散パラダイムを用いる。
DRGOの一般化誤差境界の理論的証明と,本手法がノイズサンプル効果を緩和する理論的解析を提供する。
論文 参考訳（メタデータ） (2025-01-26T15:07:52Z) - What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。
モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文 参考訳（メタデータ） (2024-11-12T09:52:40Z) - ProFL: Performative Robust Optimal Federated Learning [20.54517189040872]
変形予測(Performative prediction)は、機械学習モデルのトレーニング中に発生する凸分布シフトである。
本稿では,フェデレート学習における性能最適点を抽出するPerformative Learningアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-23T17:57:14Z) - A Practical Theory of Generalization in Selectivity Learning [8.268822578361824]
クエリ駆動機械学習モデルは、クエリ選択のための有望な推定手法として登場した。
確率的近似(PAC)学習フレームワークに基づく最先端(SOTA)理論のギャップを埋める。
符号付き測度によって誘導される選択性予測器は学習可能であり,SOTA理論における確率測度への依存を緩和することを示す。
論文 参考訳（メタデータ） (2024-09-11T05:10:32Z) - Out-of-Distribution Learning with Human Feedback [26.398598663165636]
本稿では,人的フィードバックによるOOD学習のための新しい枠組みを提案する。
当社のフレームワークは、無償で利用可能な未ラベルデータに便乗しています。
人間のフィードバックを利用して、機械学習モデルの堅牢性と信頼性を高める。
論文 参考訳（メタデータ） (2024-08-14T18:49:27Z) - A Survey on Evaluation of Out-of-Distribution Generalization [41.39827887375374]
アウト・オブ・ディストリビューション(OOD)の一般化は複雑で基本的な問題である。
本報告は,OOD評価の総合的な評価を行うための最初の試みである。
我々は,OOD性能試験,OOD性能予測,OOD固有の特性評価という3つのパラダイムに分類した。
論文 参考訳（メタデータ） (2024-03-04T09:30:35Z) - Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。
OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。
この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
論文 参考訳（メタデータ） (2023-11-03T05:41:25Z) - Diffusion-Model-Assisted Supervised Learning of Generative Models for
Density Estimation [10.793646707711442]
本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。
スコアベース拡散モデルを用いてラベル付きデータを生成する。
ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
論文 参考訳（メタデータ） (2023-10-22T23:56:19Z) - Distributionally Robust Post-hoc Classifiers under Prior Shifts [31.237674771958165]
本研究では,クラスプライヤやグループプライヤの分布の変化による変化に頑健なトレーニングモデルの問題点について検討する。
本稿では,事前学習モデルからの予測に対するスケーリング調整を行う,非常に軽量なポストホック手法を提案する。
論文 参考訳（メタデータ） (2023-09-16T00:54:57Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳（メタデータ） (2023-07-12T16:28:21Z) - Graph Structure and Feature Extrapolation for Out-of-Distribution Generalization [54.64375566326931]
アウト・オブ・ディストリビューション(OOD)の一般化は、テスト分布がトレーニング分布からシフトする一般的な学習シナリオを扱う。
我々は,非ユークリッド空間線型補間の新しい設計により,グラフOOD一般化を実現することを提案する。
我々の設計は、根底にある因果機構を損なうことなく、OODサンプルを特定のシフトのために調整する。
論文 参考訳（メタデータ） (2023-06-13T18:46:28Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2023-02-02T04:27:54Z) - Pseudo-OOD training for robust language models [78.15712542481859]
OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。
In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。
我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
論文 参考訳（メタデータ） (2022-10-17T14:32:02Z) - SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in
Fine-tuned Source Code Models [58.78043959556283]
本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。
解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
論文 参考訳（メタデータ） (2022-10-10T16:07:24Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文 参考訳（メタデータ） (2021-06-07T17:47:16Z) - Improved OOD Generalization via Adversarial Training and Pre-training [49.08683910076778]
本稿では,入力摂動に頑健なモデルがOODデータによく一般化されることを理論的に示す。
従来, 対人訓練が入力難聴の改善に有効であったことが示唆され, 対人訓練モデルがOODデータに過剰なリスクを集中していることが示唆された。
論文 参考訳（メタデータ） (2021-05-24T08:06:35Z) - The Gaussian equivalence of generative models for learning with shallow
neural networks [30.47878306277163]
本研究では,事前学習した生成モデルから得られたデータに基づいて学習したニューラルネットワークの性能について検討する。
この等価性を裏付ける厳密で解析的で数値的な証拠を3本提供します。
これらの結果は、現実的なデータを持つ機械学習モデルの理論研究への有効な道を開く。
論文 参考訳（メタデータ） (2020-06-25T21:20:09Z) - Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。
入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。
実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
論文 参考訳（メタデータ） (2020-06-16T18:43:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。