論文の概要: Representation Meets Optimization: Training PINNs and PIKANs for Gray-Box Discovery in Systems Pharmacology

• arxiv url: http://arxiv.org/abs/2504.07379v1
• Date: Thu, 10 Apr 2025 01:37:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:19:47.522370
• Title: Representation Meets Optimization: Training PINNs and PIKANs for Gray-Box Discovery in Systems Pharmacology
• Title（参考訳）: Representation Meets Optimization: Training PINNs and PIKANs for Gray-Box Discovery in Systems Pharmacology
• Authors: Nazanin Ahmadi Daryakenari, Khemraj Shukla, George Em Karniadakis,
• Abstract要約: 物理インフォームド・コルモゴロフネットワーク (PIKANs) は、オリジナルの多層パーセプトロンベースの物理インフォームドネットワーク (PINNs) に対抗して注目されている。
• 参考スコア（独自算出の注目度）: 1.8434042562191815
• License:
• Abstract: Physics-Informed Kolmogorov-Arnold Networks (PIKANs) are gaining attention as an effective counterpart to the original multilayer perceptron-based Physics-Informed Neural Networks (PINNs). Both representation models can address inverse problems and facilitate gray-box system identification. However, a comprehensive understanding of their performance in terms of accuracy and speed remains underexplored. In particular, we introduce a modified PIKAN architecture, tanh-cPIKAN, which is based on Chebyshev polynomials for parametrization of the univariate functions with an extra nonlinearity for enhanced performance. We then present a systematic investigation of how choices of the optimizer, representation, and training configuration influence the performance of PINNs and PIKANs in the context of systems pharmacology modeling. We benchmark a wide range of first-order, second-order, and hybrid optimizers, including various learning rate schedulers. We use the new Optax library to identify the most effective combinations for learning gray-boxes under ill-posed, non-unique, and data-sparse conditions. We examine the influence of model architecture (MLP vs. KAN), numerical precision (single vs. double), the need for warm-up phases for second-order methods, and sensitivity to the initial learning rate. We also assess the optimizer scalability for larger models and analyze the trade-offs introduced by JAX in terms of computational efficiency and numerical accuracy. Using two representative systems pharmacology case studies - a pharmacokinetics model and a chemotherapy drug-response model - we offer practical guidance on selecting optimizers and representation models/architectures for robust and efficient gray-box discovery. Our findings provide actionable insights for improving the training of physics-informed networks in biomedical applications and beyond.
• Abstract（参考訳）: 物理インフォームド・コルモゴロフ・アルノルド・ネットワーク(PIKAN)は,従来の多層パーセプトロンベースの物理インフォームドニューラルネットワーク(PINN)に対抗して注目されている。 どちらの表現モデルも逆問題に対処し、グレーボックスのシステム識別を容易にする。 しかし、精度と速度の観点から、それらの性能に関する包括的な理解はいまだに過小評価されている。 特に,Chebyshev多項式をベースとした改良PIKANアーキテクチャ,tanh-cPIKANを導入する。 次に、システム薬理学モデリングの文脈において、最適化器の選択、表現、訓練構成がPINNとPIKANのパフォーマンスにどのように影響するかを体系的に調査する。 我々は、様々な学習率スケジューラを含む、幅広い一階、二階、ハイブリッドオプティマイザをベンチマークする。 我々は新しいOptaxライブラリを使用して、不正、不均一、データスパース条件下でグレーボックスを学習するための最も効果的な組み合わせを特定します。 モデルアーキテクチャ(MLP vs. Kan)の影響、数値精度(シングル対ダブル)、二階法におけるウォームアップフェーズの必要性、初期学習率に対する感度について検討する。 また、より大規模なモデルに対する最適化スケーラビリティを評価し、計算効率と数値精度の観点からJAXが導入したトレードオフを分析する。 薬物動態モデルと化学療法薬物応答モデルという2つの代表的な薬理学ケーススタディを用いて、我々は、堅牢で効率的なグレーボックス発見のための最適化モデルと表現モデル/アーキテクチャの選択に関する実践的なガイダンスを提供する。 本研究は,生物医学的応用等における物理情報ネットワークのトレーニング改善に有効な知見を提供する。

関連論文リスト

• Towards a Foundation Model for Physics-Informed Neural Networks: Multi-PDE Learning with Active Sampling [0.0]
  物理インフォームドニューラルネットワーク(PINN)は、物理法則をニューラルネットワークトレーニングに埋め込むことで偏微分方程式(PDE)を解くための強力なフレームワークとして登場した。 本研究では,統一アーキテクチャ内で複数のPDEを解決可能な基礎PINNモデルの可能性について検討する。
  論文  参考訳（メタデータ） (2025-02-11T10:12:28Z)
• AL-PINN: Active Learning-Driven Physics-Informed Neural Networks for Efficient Sample Selection in Solving Partial Differential Equations [0.0]
  偏微分方程式(PDE)の解法として物理情報ニューラルネットワーク(PINN)が誕生した。 サンプル選択を動的に最適化するために、不確実性定量化(UQ)とアクティブラーニング戦略を統合したアクティブラーニング駆動型PINN(AL-PINN)を提案する。 その結果,AL-PINN は従来の PINN と比較して精度が向上し,必要なトレーニングサンプルの数を削減できた。
  論文  参考訳（メタデータ） (2025-02-06T10:54:28Z)
• Which Optimizer Works Best for Physics-Informed Neural Networks and Kolmogorov-Arnold Networks? [1.8175282137722093]
  物理学 アーノルドニューラルネットワーク(PINN)は偏微分方程式(PDE)の計算に革命をもたらした これらのPINNは、ニューラルネットワークのトレーニングプロセスにPDEをソフト制約として統合する。
  論文  参考訳（メタデータ） (2025-01-22T21:19:42Z)
• Adaptive Training of Grid-Dependent Physics-Informed Kolmogorov-Arnold Networks [4.216184112447278]
  物理インフォームドニューラルネットワーク(PINN)は、部分微分方程式(PDE)を解くための堅牢なフレームワークとして登場した。 本稿では、PDEを解くために、グリッド依存のKolmogorov-Arnold Networks(PIKAN)の高速なJAXベースの実装を提案する。 適応的特徴は解の精度を著しく向上させ,基準解に対するL2誤差を最大43.02%減少させることを示した。
  論文  参考訳（メタデータ） (2024-07-24T19:55:08Z)
• A Multi-Grained Symmetric Differential Equation Model for Learning Protein-Ligand Binding Dynamics [73.35846234413611]
  薬物発見において、分子動力学(MD)シミュレーションは、結合親和性を予測し、輸送特性を推定し、ポケットサイトを探索する強力なツールを提供する。 我々は,数値MDを容易にし,タンパク質-リガンド結合ダイナミクスの正確なシミュレーションを提供する,最初の機械学習サロゲートであるNeuralMDを提案する。 従来の数値MDシミュレーションと比較して1K$times$ Speedupを実現することにより,NeuralMDの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2024-01-26T09:35:17Z)
• Physics Inspired Hybrid Attention for SAR Target Recognition [61.01086031364307]
  本稿では,物理にヒントを得たハイブリットアテンション(PIHA)機構と,この問題に対処するためのOFA評価プロトコルを提案する。 PIHAは、物理的情報の高レベルなセマンティクスを活用して、ターゲットの局所的なセマンティクスを認識した特徴群を活性化し、誘導する。 提案手法は,ASCパラメータが同じ12のテストシナリオにおいて,他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-09-27T14:39:41Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Machine Learning Small Molecule Properties in Drug Discovery [44.62264781248437]
  我々は, 結合親和性, 溶解性, ADMET (吸収, 分布, 代謝, 排出, 毒性) を含む幅広い特性について検討する。 化学指紋やグラフベースニューラルネットワークなど,既存の一般的な記述子や埋め込みについて論じる。 最後に、モデル予測の理解を提供する技術、特に薬物発見における重要な意思決定について評価する。
  論文  参考訳（メタデータ） (2023-08-02T22:18:41Z)
• Differentiable Agent-based Epidemiology [71.81552021144589]
  GradABM(GradABM)は、エージェントベースのモデリングのためのスケーラブルで微分可能な設計で、勾配に基づく学習と自動微分が可能である。 GradABMは、コモディティハードウェア上で数秒で数百万の人口をシミュレートし、ディープニューラルネットワークと統合し、異種データソースを取り込みます。
  論文  参考訳（メタデータ） (2022-07-20T07:32:02Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。