Fugu-MT 論文翻訳(概要): Power-law Dynamic arising from machine learning

論文の概要: Power-law Dynamic arising from machine learning

arxiv url: http://arxiv.org/abs/2306.09624v1
Date: Fri, 16 Jun 2023 04:47:01 GMT
ステータス: 処理完了
システム内更新日: 2023-06-19 14:57:23.738623
Title: Power-law Dynamic arising from machine learning
Title（参考訳）: 機械学習から生じるパワーローダイナミック
Authors: Wei Chen, Weitao Du, Zhi-Ming Ma, Qi Meng
Abstract要約: 機械学習における最適化の研究から生まれた新しいSDEについて検討する。学習速度が十分小さい場合、パワー・ロー・ダイナミクスが一意な定常分布を持つエルゴードであることが証明される。
参考スコア（独自算出の注目度）: 20.441050695566112
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study a kind of new SDE that was arisen from the research on optimization in machine learning, we call it power-law dynamic because its stationary distribution cannot have sub-Gaussian tail and obeys power-law. We prove that the power-law dynamic is ergodic with unique stationary distribution, provided the learning rate is small enough. We investigate its first exist time. In particular, we compare the exit times of the (continuous) power-law dynamic and its discretization. The comparison can help guide machine learning algorithm.
Abstract（参考訳）: 我々は、機械学習における最適化の研究から生まれた新しいSDEの研究を行い、定常分布はガウス以下の尾を持つことができず、パワーローに従うため、パワーローダイナミックと呼ぶ。学習速度が十分に小さい場合, パワーローダイナミクスは一意な定常分布を持つエルゴードであることが証明される。我々はその存在を初めて調査する。特に、(連続的な)パワーローダイナミクスの終了時間とその離散化を比較する。この比較は機械学習アルゴリズムのガイドに役立つ。

関連論文リスト

Dyson Brownian motion and random matrix dynamics of weight matrices during learning [0.0]
まず、ダイソン・ブラウン運動を用いて、ダイナミクスを汎用的に記述できることを実証する。レベルは学習率とミニバッチサイズに比例して示される。次に,初期化時の固有値に対するマルテンコ・パストゥル分布から学習終了時の付加構造との組合せへの進化に続く変圧器の重み行列ダイナミクスについて検討する。
論文参考訳（メタデータ） (2024-11-20T18:05:39Z)
Variational Temporal IRT: Fast, Accurate, and Explainable Inference of Dynamic Learner Proficiency [5.715502630272047]
学習者の習熟度を高速かつ正確に推定するための変分時IRT(VTIRT)を提案する。 VTIRTは、正確な推論を提供しながら、推論ランタイムにおいて桁違いのスピードアップを提供する。 9つの実際の学生データセットに適用すると、VTIRTは将来的な学習者のパフォーマンスを予測するための改善を一貫して得る。
論文参考訳（メタデータ） (2023-11-14T23:36:39Z)
TANGO: Time-Reversal Latent GraphODE for Multi-Agent Dynamical Systems [43.39754726042369]
連続グラフニューラルネットワークに基づく常微分方程式(GraphODE)により予測される前後の軌跡を整列するソフト制約として,単純かつ効果的な自己監督型正規化項を提案する。時間反転対称性を効果的に課し、古典力学の下でより広い範囲の力学系にわたってより正確なモデル予測を可能にする。様々な物理システムに対する実験結果から,提案手法の有効性が示された。
論文参考訳（メタデータ） (2023-10-10T08:52:16Z)
Controlling dynamical systems to complex target states using machine learning: next-generation vs. classical reservoir computing [68.8204255655161]
機械学習を用いた非線形力学系の制御は、システムを周期性のような単純な振る舞いに駆動するだけでなく、より複雑な任意の力学を駆動する。まず, 従来の貯水池計算が優れていることを示す。次のステップでは、これらの結果を異なるトレーニングデータに基づいて比較し、代わりに次世代貯水池コンピューティングを使用する別のセットアップと比較する。その結果、通常のトレーニングデータに対して同等のパフォーマンスを提供する一方で、次世代RCは、非常に限られたデータしか利用できない状況において、著しくパフォーマンスが向上していることがわかった。
論文参考訳（メタデータ） (2023-07-14T07:05:17Z)
Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
論文参考訳（メタデータ） (2023-04-27T17:42:24Z)
Statistical and machine learning approaches for prediction of long-time excitation energy transfer dynamics [0.0]
ここでの目的は、SARIMA、CatBoost、Prophet、畳み込み、反復ニューラルネットワークのようなモデルがこの要件を回避できるかどうかを示すことである。以上の結果から,SARIMAモデルが長期力学の予測を行うための計算コストが安価かつ正確な方法として機能することが示唆された。
論文参考訳（メタデータ） (2022-10-25T16:50:26Z)
Machine learning nonequilibrium electron forces for adiabatic spin dynamics [0.0]
非平衡グリーン関数法から計算した駆動s-dモデルの力を学習するディープラーニングニューラルネットワークを開発した。本研究では,ニューラルネットワークモデルから予測される力を用いたランダウ・リフシッツ力学シミュレーションにより,電圧駆動型磁壁伝播を正確に再現することを示した。
論文参考訳（メタデータ） (2021-12-22T18:37:56Z)
Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
論文参考訳（メタデータ） (2020-11-10T19:31:29Z)
Trajectory-wise Multiple Choice Learning for Dynamics Generalization in Reinforcement Learning [137.39196753245105]
本稿では,動的一般化のためのマルチヘッドダイナミックスモデルを学習するモデルベース強化学習アルゴリズムを提案する。文脈学習は,過去の経験から得られる動的情報からコンテキスト潜在ベクトルにエンコードする。提案手法は,最先端のRL法と比較して,様々な制御タスクにおいて優れたゼロショット一般化性能を示す。
論文参考訳（メタデータ） (2020-10-26T03:20:42Z)
Online Reinforcement Learning Control by Direct Heuristic Dynamic Programming: from Time-Driven to Event-Driven [80.94390916562179]
時間駆動学習は、新しいデータが到着すると予測モデルのパラメータを継続的に更新する機械学習手法を指す。ノイズなどの重要なシステムイベントによる時間駆動型dHDPの更新を防止することが望ましい。イベント駆動型dHDPアルゴリズムは,従来の時間駆動型dHDPと比較して動作することを示す。
論文参考訳（メタデータ） (2020-06-16T05:51:25Z)
Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。