論文の概要: KO: Kinetics-inspired Neural Optimizer with PDE Simulation Approaches

• arxiv url: http://arxiv.org/abs/2505.14777v1
• Date: Tue, 20 May 2025 18:00:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:58.688058
• Title: KO: Kinetics-inspired Neural Optimizer with PDE Simulation Approaches
• Title（参考訳）: KO:PDEシミュレーションを用いた動的インスピレーションニューラルオプティマイザ
• Authors: Mingquan Feng, Yixin Huang, Yifan Fu, Shaobo Wang, Junchi Yan,
• Abstract要約: 本稿では、運動理論と偏微分方程式(PDE)シミュレーションにインスパイアされた新しい神経勾配であるKOを紹介する。 我々は、ネットワークパラメータの力学を、運動原理によって支配される粒子系の進化として再想像する。 この物理駆動のアプローチは、パラメータ凝縮の現象を緩和し、最適化中のパラメータの多様性を本質的に促進する。
• 参考スコア（独自算出の注目度）: 45.173398806932376
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The design of optimization algorithms for neural networks remains a critical challenge, with most existing methods relying on heuristic adaptations of gradient-based approaches. This paper introduces KO (Kinetics-inspired Optimizer), a novel neural optimizer inspired by kinetic theory and partial differential equation (PDE) simulations. We reimagine the training dynamics of network parameters as the evolution of a particle system governed by kinetic principles, where parameter updates are simulated via a numerical scheme for the Boltzmann transport equation (BTE) that models stochastic particle collisions. This physics-driven approach inherently promotes parameter diversity during optimization, mitigating the phenomenon of parameter condensation, i.e. collapse of network parameters into low-dimensional subspaces, through mechanisms analogous to thermal diffusion in physical systems. We analyze this property, establishing both a mathematical proof and a physical interpretation. Extensive experiments on image classification (CIFAR-10/100, ImageNet) and text classification (IMDB, Snips) tasks demonstrate that KO consistently outperforms baseline optimizers (e.g., Adam, SGD), achieving accuracy improvements while computation cost remains comparable.
• Abstract（参考訳）: ニューラルネットワークの最適化アルゴリズムの設計は依然として重要な課題であり、既存のほとんどの手法は勾配に基づくアプローチのヒューリスティックな適応に依存している。 本稿では、運動理論と偏微分方程式(PDE)シミュレーションにインスパイアされた新しいニューラルオプティマイザであるKO(Kinetics-inspired Optimizer)を紹介する。 そこでは,確率的粒子衝突をモデル化したボルツマン輸送方程式(BTE)の数値スキームを用いて,パラメータ更新をシミュレートする。 この物理駆動のアプローチは、パラメータ凝縮現象、すなわちネットワークパラメータの低次元部分空間への崩壊を、物理系の熱拡散に類似したメカニズムによって緩和し、最適化中のパラメータの多様性を本質的に促進する。 我々はこの性質を解析し、数学的証明と物理的解釈の両方を確立する。 画像分類(CIFAR-10/100, ImageNet)とテキスト分類(IMDB, Snips)タスクの広範な実験により、KOはベースラインオプティマイザ(例えばAdam, SGD)を一貫して上回り、計算コストが同等である間に精度の向上を達成することを示した。

関連論文リスト

• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs [70.51212431290611]
  偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。 本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。 動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
  論文  参考訳（メタデータ） (2022-04-13T08:53:41Z)
• Physics informed machine learning with Smoothed Particle Hydrodynamics: Hierarchy of reduced Lagrangian models of turbulence [0.6542219246821327]
  この原稿は乱流に対するパラメータ化還元ラグランジアンモデルの階層を構築している。 Smoothed Particle Hydrodynamics (SPH) を通した物理的構造を、普遍関数近似器としてニューラルネットワーク(NN)に依存することによる影響について検討する。
  論文  参考訳（メタデータ） (2021-10-25T22:57:40Z)
• Physics-Informed Neural Network Method for Solving One-Dimensional Advection Equation Using PyTorch [0.0]
  PINNのアプローチは、最適化の強い制約としてPDEを尊重しながらニューラルネットワークのトレーニングを可能にします。 標準的な小規模循環シミュレーションでは、従来のアプローチは乱流拡散モデルの効果とほぼ同じ大きさの擬似拡散効果を組み込むことが示されている。 テストされた全てのスキームのうち、ピンズ近似のみが結果を正確に予測した。
  論文  参考訳（メタデータ） (2021-03-15T05:39:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。