論文の概要: KITINet: Kinetics Theory Inspired Network Architectures with PDE Simulation Approaches

• arxiv url: http://arxiv.org/abs/2505.17919v1
• Date: Fri, 23 May 2025 13:58:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.129815
• Title: KITINet: Kinetics Theory Inspired Network Architectures with PDE Simulation Approaches
• Title（参考訳）: KITINet:PDEシミュレーションアプローチによるネットワークアーキテクチャの速度論
• Authors: Mingquan Feng, Yifan Fu, Tongcheng Zhang, Yu Jiang, Yixin Huang, Junchi Yan,
• Abstract要約: 本稿では,非平衡粒子動力学のレンズによる特徴伝播を再解釈する新しいアーキテクチャKITINetを紹介する。 そこで本研究では,粒子系の進化をモデルとした残留モジュールを提案する。 この定式化は粒子衝突とエネルギー交換を模倣し、物理インフォームド相互作用による適応的特徴改善を可能にする。
• 参考スコア（独自算出の注目度）: 43.872190335490515
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Despite the widely recognized success of residual connections in modern neural networks, their design principles remain largely heuristic. This paper introduces KITINet (Kinetics Theory Inspired Network), a novel architecture that reinterprets feature propagation through the lens of non-equilibrium particle dynamics and partial differential equation (PDE) simulation. At its core, we propose a residual module that models feature updates as the stochastic evolution of a particle system, numerically simulated via a discretized solver for the Boltzmann transport equation (BTE). This formulation mimics particle collisions and energy exchange, enabling adaptive feature refinement via physics-informed interactions. Additionally, we reveal that this mechanism induces network parameter condensation during training, where parameters progressively concentrate into a sparse subset of dominant channels. Experiments on scientific computation (PDE operator), image classification (CIFAR-10/100), and text classification (IMDb/SNLI) show consistent improvements over classic network baselines, with negligible increase of FLOPs.
• Abstract（参考訳）: 現代のニューラルネットワークにおける残差接続の成功は広く認知されているが、その設計原則は概ねヒューリスティックである。 本稿では、非平衡粒子動力学と偏微分方程式(PDE)シミュレーションのレンズによる特徴伝播を再解釈する新しいアーキテクチャであるKITINet(Kinetics Theory Inspired Network)を紹介する。 そこで本研究では,Boltzmann輸送方程式(BTE)の離散化解法を用いて数値シミュレーションを行った。 この定式化は粒子衝突とエネルギー交換を模倣し、物理インフォームド相互作用による適応的特徴改善を可能にする。 さらに,本機構はトレーニング中にネットワークパラメータの凝縮を誘導し,パラメータを支配チャネルの疎部分集合に徐々に集中させる。 科学計算(PDE演算子)、画像分類(CIFAR-10/100)、テキスト分類(IMDb/SNLI)の実験では、FLOPの無視できる増加とともに、古典的なネットワークベースラインよりも一貫した改善が見られた。

関連論文リスト

• KO: Kinetics-inspired Neural Optimizer with PDE Simulation Approaches [45.173398806932376]
  本稿では、運動理論と偏微分方程式(PDE)シミュレーションにインスパイアされた新しい神経勾配であるKOを紹介する。 我々は、ネットワークパラメータの力学を、運動原理によって支配される粒子系の進化として再想像する。 この物理駆動のアプローチは、パラメータ凝縮の現象を緩和し、最適化中のパラメータの多様性を本質的に促進する。
  論文  参考訳（メタデータ） (2025-05-20T18:00:01Z)
• A Physics-Informed Convolutional Long Short Term Memory Statistical Model for Fluid Thermodynamics Simulations [0.0]
  流体熱力学の直接数値シミュレーションは計算的に禁止されている。 本稿では、対流の標準例であるRBCの物理インフォームドアーキテクチャを提案する。 推論は、解釈可能性を確保するために、支配的偏微分方程式に対して罰せられる。
  論文  参考訳（メタデータ） (2025-05-16T06:47:00Z)
• Recurrent convolutional neural networks for non-adiabatic dynamics of quantum-classical systems [1.2972104025246092]
  本稿では,ハイブリッド量子古典系の非線形非断熱力学をモデル化するための畳み込みニューラルネットワークに基づくRNNモデルを提案する。 検証研究により、訓練されたPARCモデルは、一次元半古典的なホルシュタインモデルの時空進化を再現できることが示されている。
  論文  参考訳（メタデータ） (2024-12-09T16:23:25Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs [70.51212431290611]
  偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。 本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。 動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
  論文  参考訳（メタデータ） (2022-04-13T08:53:41Z)
• The Limiting Dynamics of SGD: Modified Loss, Phase Space Oscillations, and Anomalous Diffusion [29.489737359897312]
  勾配降下法(SGD)を訓練した深部ニューラルネットワークの限界ダイナミクスについて検討する。 これらのダイナミクスを駆動する重要な要素は、本来のトレーニング損失ではなく、位相空間の振動を引き起こす速度と確率電流を暗黙的に規則化する修正損失の組み合わせであることを示す。
  論文  参考訳（メタデータ） (2021-07-19T20:18:57Z)
• Combining Differentiable PDE Solvers and Graph Neural Networks for Fluid Flow Prediction [79.81193813215872]
  我々は,従来のグラフ畳み込みネットワークと,ネットワーク内部に組込み可能な流体力学シミュレータを組み合わせたハイブリッド(グラフ)ニューラルネットワークを開発した。 ニューラルネットワークのCFD予測の大幅な高速化により,新たな状況に十分対応できることが示される。
  論文  参考訳（メタデータ） (2020-07-08T21:23:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。