論文の概要: Control of Overfitting with Physics

• arxiv url: http://arxiv.org/abs/2412.10716v1
• Date: Sat, 14 Dec 2024 07:20:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:02:54.785520
• Title: Control of Overfitting with Physics
• Title（参考訳）: 物理によるオーバーフィッティングの制御
• Authors: Sergei V. Kozyrev, Ilya A Lopatin, Alexander N Pechen,
• Abstract要約: 機械学習におけるオーバーフィッティング制御は、物理学や生物学の類推を用いて説明される。 本稿では,GANモデルに対して,生物におけるGANと捕食者・捕食者モデルとの類似性を確立する。
• 参考スコア（独自算出の注目度）: 44.99833362998488
• License:
• Abstract: While there are many works on the applications of machine learning, not so many of them are trying to understand the theoretical justifications to explain their efficiency. In this work, overfitting control (or generalization property) in machine learning is explained using analogies from physics and biology. For stochastic gradient Langevin dynamics, we show that the Eyring formula of kinetic theory allows to control overfitting in the algorithmic stability approach - when wide minima of the risk function with low free energy correspond to low overfitting. For the generative adversarial network (GAN) model, we establish an analogy between GAN and the predator-prey model in biology. An application of this analogy allows us to explain the selection of wide likelihood maxima and overfitting reduction for GANs.
• Abstract（参考訳）: 機械学習の応用には多くの研究があるが、その多くがその効率を説明する理論的正当化を理解しようとしているわけではない。 本研究では,物理・生物学の類推を用いて,機械学習における過剰適合制御(あるいは一般化特性)を解説する。 確率勾配ランゲヴィン力学において、速度論的理論のアイリング公式は、低自由エネルギーのリスク関数の広い最小値が低いオーバーフィッティングに対応する場合、アルゴリズム的安定性アプローチにおけるオーバーフィッティングを制御することができることを示す。 本稿では,GANモデルに対して,生物におけるGANと捕食者・捕食者モデルとの類似性を確立する。 このアナロジーの応用により、 GAN に対する極大極大選択と過剰適合還元を説明できる。

関連論文リスト

• Hamiltonian bridge: A physics-driven generative framework for targeted pattern control [0.8192907805418583]
  複数のスケールでパターンを制御できるフレームワークを提案する。 そこで本稿では,Euler フローとしてキャスティング可能なパターン形成 Pdes 上での反復制御プロトコルを用いて,複雑なパターンを生成するための最適制御方法を示す。
  論文  参考訳（メタデータ） (2024-10-16T15:24:54Z)
• A Neural Network Implementation for Free Energy Principle [3.7937771805690392]
  自由エネルギー原理 (FEP) は認知科学、神経科学、社会相互作用、熱力学などの分野における様々な問題に広く応用されている。 本稿では、古典的ニューラルネットワークモデルであるヘルムホルツマシンを用いて、FEPと機械学習をブリッジする予備的な試みを示す。 ヘルムホルツ機械は一時的ではないが、バニラFEPと脳の階層モデルと平行な理想を与える。
  論文  参考訳（メタデータ） (2023-06-11T22:14:21Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Generative Modeling of Turbulence [0.7646713951724012]
  GAN(Generative Adversarial Network)を用いた乱流の合成モデリングのための数学的に確立されたアプローチを提案する。 GANは、適度なトレーニング日量に基づいて、技術的に困難な流れ問題の乱流をシミュレーションするのに効率的である。
  論文  参考訳（メタデータ） (2021-12-05T11:39:14Z)
• Forced Variational Integrator Networks for Prediction and Control of Mechanical Systems [7.538482310185133]
  強制的変動積分器ネットワーク(FVIN)アーキテクチャにより,エネルギー散逸と外部強制を正確に考慮できることを示す。 これにより、高データ効率のモデルベース制御が可能となり、実際の非保守的なシステムで予測できる。
  論文  参考訳（メタデータ） (2021-06-05T21:39:09Z)
• GEM: Group Enhanced Model for Learning Dynamical Control Systems [78.56159072162103]
  サンプルベースの学習が可能な効果的なダイナミクスモデルを構築します。 リー代数ベクトル空間上のダイナミクスの学習は、直接状態遷移モデルを学ぶよりも効果的であることを示す。 この研究は、ダイナミクスの学習とリー群の性質の関連性を明らかにし、新たな研究の方向への扉を開く。
  論文  参考訳（メタデータ） (2021-04-07T01:08:18Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)
• Explainable Machine Learning Control -- robust control and stability analysis [0.0]
  本稿では, 動的システムの最適制御を推定するために, 記号回帰法を用いる方法を示す。 我々は、アクセスしにくいニューラルネットワークに対して、説明可能なモデルにかなりの利点があることを示します。
  論文  参考訳（メタデータ） (2020-01-23T08:09:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。