論文の概要: Learning where to learn: Training data distribution optimization for scientific machine learning
- arxiv url: http://arxiv.org/abs/2505.21626v2
- Date: Wed, 08 Oct 2025 02:51:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-09 14:21:18.021604
- Title: Learning where to learn: Training data distribution optimization for scientific machine learning
- Title（参考訳）: 学習するべき場所:科学機械学習のためのデータ分散最適化の訓練
- Authors: Nicolas Guerra, Nicholas H. Nelsen, Yunan Yang,
- Abstract要約: 科学的機械学習では、モデルは常にパラメータ値や境界条件が訓練で使用されるものから遠く離れている。
本稿では,平均予測誤差を最小限に抑えるトレーニングデータ分布を設計する学習と学習の課題について検討する。
- 参考スコア（独自算出の注目度）: 4.726397480637032
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In scientific machine learning, models are routinely deployed with parameter values or boundary conditions far from those used in training. This paper studies the learning-where-to-learn problem of designing a training data distribution that minimizes average prediction error across a family of deployment regimes. A theoretical analysis shows how the training distribution shapes deployment accuracy. This motivates two adaptive algorithms based on bilevel or alternating optimization in the space of probability measures. Discretized implementations using parametric distribution classes or nonparametric particle-based gradient flows deliver optimized training distributions that outperform nonadaptive designs. Once trained, the resulting models exhibit improved sample complexity and robustness to distribution shift. This framework unlocks the potential of principled data acquisition for learning functions and solution operators of partial differential equations.
- Abstract（参考訳）: 科学的機械学習では、モデルは常にパラメータ値や境界条件が訓練で使用されるものから遠く離れている。
本稿では,展開系統における平均予測誤差を最小限に抑える訓練データ分布を設計する学習と学習の課題について考察する。
理論的解析は、トレーニング分布がどのようにデプロイメントの正確さを形作るかを示している。
これは、確率測度の空間における双レベルまたは交互最適化に基づく2つの適応アルゴリズムを動機付けている。
パラメトリック分布クラスや非パラメトリック粒子ベース勾配流を用いた離散化実装は、非適応的設計よりも優れた最適化されたトレーニング分布を提供する。
トレーニングが完了すると、結果として得られたモデルは、分散シフトに対するサンプルの複雑さと堅牢性を改善した。
このフレームワークは、偏微分方程式の学習関数や解演算子に対する原理的データ取得の可能性を解き放つ。
関連論文リスト
- Bias as a Virtue: Rethinking Generalization under Distribution Shifts [7.389812496011288]
機械学習モデルは、トレーニングデータとは異なるデータ分散にデプロイされると、しばしば劣化する。
また,IDバイアスの増大は,より優れたアウト・オブ・ディストリビューション(OOD)一般化につながる可能性が示唆された。
我々の研究は、一般化を改善するための実践的な方法と、堅牢な機械学習におけるバイアスの役割を再考するための理論的枠組みの両方を提供する。
論文 参考訳（メタデータ） (2025-05-31T05:54:49Z) - Distributionally Robust Graph Out-of-Distribution Recommendation via Diffusion Model [7.92181856602497]
OODレコメンデーション(DRGO)のための分散ロバストグラフモデルを設計する。
具体的には,遅延空間における雑音効果を軽減するために,単純かつ効果的な拡散パラダイムを用いる。
DRGOの一般化誤差境界の理論的証明と,本手法がノイズサンプル効果を緩和する理論的解析を提供する。
論文 参考訳（メタデータ） (2025-01-26T15:07:52Z) - A Practical Theory of Generalization in Selectivity Learning [8.268822578361824]
クエリ駆動機械学習モデルは、クエリ選択のための有望な推定手法として登場した。
確率的近似(PAC)学習フレームワークに基づく最先端(SOTA)理論のギャップを埋める。
符号付き測度によって誘導される選択性予測器は学習可能であり,SOTA理論における確率測度への依存を緩和することを示す。
論文 参考訳（メタデータ） (2024-09-11T05:10:32Z) - Out-of-Distribution Learning with Human Feedback [26.398598663165636]
本稿では,人的フィードバックによるOOD学習のための新しい枠組みを提案する。
当社のフレームワークは、無償で利用可能な未ラベルデータに便乗しています。
人間のフィードバックを利用して、機械学習モデルの堅牢性と信頼性を高める。
論文 参考訳（メタデータ） (2024-08-14T18:49:27Z) - A Survey on Evaluation of Out-of-Distribution Generalization [41.39827887375374]
アウト・オブ・ディストリビューション(OOD)の一般化は複雑で基本的な問題である。
本報告は,OOD評価の総合的な評価を行うための最初の試みである。
我々は,OOD性能試験,OOD性能予測,OOD固有の特性評価という3つのパラダイムに分類した。
論文 参考訳（メタデータ） (2024-03-04T09:30:35Z) - Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。
OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。
この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
論文 参考訳（メタデータ） (2023-11-03T05:41:25Z) - Graph Structure and Feature Extrapolation for Out-of-Distribution Generalization [54.64375566326931]
アウト・オブ・ディストリビューション(OOD)の一般化は、テスト分布がトレーニング分布からシフトする一般的な学習シナリオを扱う。
我々は,非ユークリッド空間線型補間の新しい設計により,グラフOOD一般化を実現することを提案する。
我々の設計は、根底にある因果機構を損なうことなく、OODサンプルを特定のシフトのために調整する。
論文 参考訳（メタデータ） (2023-06-13T18:46:28Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2023-02-02T04:27:54Z) - Pseudo-OOD training for robust language models [78.15712542481859]
OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。
In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。
我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
論文 参考訳（メタデータ） (2022-10-17T14:32:02Z) - SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in
Fine-tuned Source Code Models [58.78043959556283]
本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。
解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
論文 参考訳（メタデータ） (2022-10-10T16:07:24Z) - Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文 参考訳（メタデータ） (2021-06-07T17:47:16Z) - Improved OOD Generalization via Adversarial Training and Pre-training [49.08683910076778]
本稿では,入力摂動に頑健なモデルがOODデータによく一般化されることを理論的に示す。
従来, 対人訓練が入力難聴の改善に有効であったことが示唆され, 対人訓練モデルがOODデータに過剰なリスクを集中していることが示唆された。
論文 参考訳（メタデータ） (2021-05-24T08:06:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。