論文の概要: Kolmogorov n-Widths for Multitask Physics-Informed Machine Learning (PIML) Methods: Towards Robust Metrics

• arxiv url: http://arxiv.org/abs/2402.11126v2
• Date: Wed, 4 Sep 2024 17:46:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-07 03:56:02.582983
• Title: Kolmogorov n-Widths for Multitask Physics-Informed Machine Learning (PIML) Methods: Towards Robust Metrics
• Title（参考訳）: Kolmogorov n-Widths for Multitask Physics-Informed Machine Learning (PIML) Methods: Towards Robust Metrics
• Authors: Michael Penwarden, Houman Owhadi, Robert M. Kirby,
• Abstract要約: このトピックは、マルチタスク学習(multitask learning)と呼ばれる、シングルまたはPDE問題の集合を解決するための、幅広いメソッドとモデルを含んでいる。 PIMLは、PDE問題を解決する際に、大規模なデータの代わりに機械学習モデルのトレーニングプロセスに物理法則を組み込むことによって特徴付けられる。
• 参考スコア（独自算出の注目度）: 8.90237460752114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physics-informed machine learning (PIML) as a means of solving partial differential equations (PDE) has garnered much attention in the Computational Science and Engineering (CS&E) world. This topic encompasses a broad array of methods and models aimed at solving a single or a collection of PDE problems, called multitask learning. PIML is characterized by the incorporation of physical laws into the training process of machine learning models in lieu of large data when solving PDE problems. Despite the overall success of this collection of methods, it remains incredibly difficult to analyze, benchmark, and generally compare one approach to another. Using Kolmogorov n-widths as a measure of effectiveness of approximating functions, we judiciously apply this metric in the comparison of various multitask PIML architectures. We compute lower accuracy bounds and analyze the model's learned basis functions on various PDE problems. This is the first objective metric for comparing multitask PIML architectures and helps remove uncertainty in model validation from selective sampling and overfitting. We also identify avenues of improvement for model architectures, such as the choice of activation function, which can drastically affect model generalization to "worst-case" scenarios, which is not observed when reporting task-specific errors. We also incorporate this metric into the optimization process through regularization, which improves the models' generalizability over the multitask PDE problem.
• Abstract（参考訳）: 偏微分方程式(PDE)を解くための物理インフォームド・機械学習(PIML)がCS&E(Computational Science and Engineering)の世界で注目を集めている。 このトピックは、マルチタスク学習(multitask learning)と呼ばれる、シングルまたはPDE問題の集合を解決するための、幅広いメソッドとモデルを含んでいる。 PIMLは、PDE問題を解決する際に、大規模なデータの代わりに機械学習モデルのトレーニングプロセスに物理法則を組み込むことによって特徴付けられる。 このメソッドの集合の全体的な成功にもかかわらず、分析、ベンチマーク、そして一般的にあるアプローチを他の方法と比較することは、信じられないほど困難である。 近似関数の有効性の尺度としてKolmogorov n-widthsを用いて、様々なマルチタスクPIMLアーキテクチャの比較において、この指標を任意に適用する。 より低い精度境界を計算し、様々なPDE問題に基づいてモデルの学習基底関数を解析する。 これはマルチタスクPIMLアーキテクチャを比較するための最初の客観的指標であり、選択的サンプリングとオーバーフィッティングからモデル検証の不確実性を取り除くのに役立つ。 また、アクティベーション関数の選択など、モデルアーキテクチャの改善の道筋も明らかにし、タスク固有のエラーを報告する際には観察されない"Worst-case"シナリオへのモデル一般化に大きく影響を与える可能性がある。 また、このメトリックを正規化による最適化プロセスに組み込んで、マルチタスクPDE問題に対するモデルの一般化性を向上させる。

関連論文リスト

• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [50.485788083202124]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)
• Active Learning for Neural PDE Solvers [18.665448858377694]
  Active Learningは、モデルをより小さなトレーニングセットで同じ精度でサロゲートするのに役立ちます。 モジュール型かつアクティブな学習ベンチマークであるAL4PDEを紹介する。 ALは,ランダムサンプリングと比較して平均誤差を最大71%削減することを示した。
  論文  参考訳（メタデータ） (2024-08-02T18:48:58Z)
• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
  Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。 MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。 また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
  論文  参考訳（メタデータ） (2024-06-11T17:55:25Z)
• UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [75.11267478778295]
  マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。 重みベクトル w でパラメータ化される線型効用関数の場合に焦点を当てる。 学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-05-01T09:34:42Z)
• Sample Complexity Characterization for Linear Contextual MDPs [67.79455646673762]
  文脈決定プロセス(CMDP)は、遷移カーネルと報酬関数がコンテキスト変数によってインデックス付けされた異なるMDPで時間とともに変化できる強化学習のクラスを記述する。 CMDPは、時間とともに変化する環境で多くの現実世界のアプリケーションをモデル化するための重要なフレームワークとして機能する。 CMDPを2つの線形関数近似モデルで検討する: 文脈変化表現とすべての文脈に対する共通線形重み付きモデルIと、すべての文脈に対する共通表現と文脈変化線形重み付きモデルIIである。
  論文  参考訳（メタデータ） (2024-02-05T03:25:04Z)
• Meta-Learning for Airflow Simulations with Graph Neural Networks [3.52359746858894]
  本稿では,OoD(Out-of-distribution)サンプルにおける学習モデルの性能向上のためのメタラーニング手法を提案する。 具体的には,各気翼上のCFD内の気流シミュレーションをメタラーニング問題として設定し,一つの気翼形状で定義された各例を個別のタスクとして扱う。 学習モデルのOoD一般化性能向上のための提案手法の有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2023-06-18T19:25:13Z)
• Multi-Task Learning on Networks [0.0]
  マルチタスク学習コンテキストで発生する多目的最適化問題は、特定の特徴を持ち、アドホックな方法を必要とする。 この論文では、入力空間の解は、関数評価に含まれる知識をカプセル化した確率分布として表現される。 確率分布のこの空間では、ワッサーシュタイン距離によって与えられる計量が与えられ、モデルが目的関数に直接依存しないような新しいアルゴリズムMOEA/WSTを設計することができる。
  論文  参考訳（メタデータ） (2021-12-07T09:13:10Z)
• A composable autoencoder-based iterative algorithm for accelerating numerical simulations [0.0]
  CoAE-MLSimは教師なし、低次元の局所的手法であり、商用PDEソルバで使われる重要なアイデアから動機づけられている。 計算速度、精度、スケーラビリティ、様々なPDE条件に対する一般化を実証するために、様々な複雑なエンジニアリングケースでテストされている。
  論文  参考訳（メタデータ） (2021-10-07T20:22:37Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Solver-in-the-Loop: Learning from Differentiable Physics to Interact with Iterative PDE-Solvers [26.444103444634994]
  認識されたPDEが捉えない効果を補正することにより、機械学習が解の精度を向上させることができることを示す。 従来使用されていた学習手法は,学習ループにソルバを組み込む手法により大幅に性能が向上していることがわかった。 これにより、以前の補正を考慮に入れたリアルな入力分布がモデルに提供される。
  論文  参考訳（メタデータ） (2020-06-30T18:00:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。