Fugu-MT 論文翻訳(概要): Fluctuation-dissipation Type Theorem in Stochastic Linear Learning

論文の概要: Fluctuation-dissipation Type Theorem in Stochastic Linear Learning

arxiv url: http://arxiv.org/abs/2106.02220v1
Date: Fri, 4 Jun 2021 02:54:26 GMT
ステータス: 処理完了
システム内更新日: 2021-06-08 06:56:57.072700
Title: Fluctuation-dissipation Type Theorem in Stochastic Linear Learning
Title（参考訳）: 確率線形学習におけるゆらぎ散逸型定理
Authors: Manhyung Han, Jeonghyeok Park, Taewoong Lee, Jung Hoon Han
Abstract要約: ゆらぎ散逸定理(英: fluctuation-dissipation theorem, FDT)は、一階微分方程式の単純かつ強力な結果である。入力ベクトルが学習対象となる線形行列によって出力ベクトルに写像される線形学習力学は、全バッチ勾配降下スキームを勾配降下のものと置き換えるときにランゲヴィン力学を忠実に模倣する検証版を持つ。我々は,MNIST, CIFAR-10, CIFAR-10などの機械学習データセットにおける線形学習力学の一般化検証とその妥当性を導出する。
参考スコア（独自算出の注目度）: 2.8292841621378844
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: The fluctuation-dissipation theorem (FDT) is a simple yet powerful consequence of the first-order differential equation governing the dynamics of systems subject simultaneously to dissipative and stochastic forces. The linear learning dynamics, in which the input vector maps to the output vector by a linear matrix whose elements are the subject of learning, has a stochastic version closely mimicking the Langevin dynamics when a full-batch gradient descent scheme is replaced by that of stochastic gradient descent. We derive a generalized FDT for the stochastic linear learning dynamics and verify its validity among the well-known machine learning data sets such as MNIST, CIFAR-10 and EMNIST.
Abstract（参考訳）: ゆらぎ散逸定理(英: fluctuation-dissipation theorem, fdt)は、散逸力と確率力を同時に支配する一階微分方程式の単純かつ強力な結果である。入力ベクトルが学習対象である線形行列によって出力ベクトルに写像される線形学習ダイナミクスは、フルバッチ勾配降下スキームを確率勾配降下に置き換えた場合にランジュバンダイナミクスと密接に類似した確率バージョンを有する。 MNIST, CIFAR-10, EMNISTなどの機械学習データセットにおいて, 確率線形学習力学の一般化FDTを導出し, その妥当性を検証した。

関連論文リスト

Dyson Brownian motion and random matrix dynamics of weight matrices during learning [0.0]
まず、ダイソン・ブラウン運動を用いて、ダイナミクスを汎用的に記述できることを実証する。レベルは学習率とミニバッチサイズに比例して示される。次に,初期化時の固有値に対するマルテンコ・パストゥル分布から学習終了時の付加構造との組合せへの進化に続く変圧器の重み行列ダイナミクスについて検討する。
論文参考訳（メタデータ） (2024-11-20T18:05:39Z)
Learning Controlled Stochastic Differential Equations [61.82896036131116]
本研究では,非一様拡散を伴う連続多次元非線形微分方程式のドリフト係数と拡散係数の両方を推定する新しい手法を提案する。我々は、(L2)、(Linfty)の有限サンプル境界や、係数の正則性に適応する学習率を持つリスクメトリクスを含む、強力な理論的保証を提供する。当社のメソッドはオープンソースPythonライブラリとして利用可能です。
論文参考訳（メタデータ） (2024-11-04T11:09:58Z)
Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文参考訳（メタデータ） (2023-06-14T11:41:42Z)
Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文参考訳（メタデータ） (2023-06-06T09:12:49Z)
Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文参考訳（メタデータ） (2023-04-08T07:55:36Z)
Rigorous dynamical mean field theory for stochastic gradient descent methods [17.90683687731009]
一階勾配法の一家系の正確な高次元に対する閉形式方程式を証明した。これには勾配降下(SGD)やネステロフ加速度などの広く使われているアルゴリズムが含まれる。
論文参考訳（メタデータ） (2022-10-12T21:10:55Z)
Linearization and Identification of Multiple-Attractors Dynamical System through Laplacian Eigenmaps [8.161497377142584]
速度拡張カーネルを利用したグラフベースのスペクトルクラスタリング手法を提案し,同じダイナミックスに属するデータポイントを接続する。部分力学が線型であり、n-次元埋め込みが準線型であるような2次元埋め込み空間が常に存在することを証明する。我々は、ラプラシアン埋め込み空間から元の空間への微分同相性を学び、ラプラシアン埋め込みが良好な再構成精度とより高速な訓練時間をもたらすことを示す。
論文参考訳（メタデータ） (2022-02-18T12:43:25Z)
Online Stochastic Gradient Descent Learns Linear Dynamical Systems from A Single Trajectory [1.52292571922932]
本研究では,システムを記述する未知の重み行列がブルノフスキー正則形式であれば,システムの未知の基底真理を効率的に推定できることを示した。具体的には、具体的な境界を導出することにより、SGDは基底真理重みから任意の小さなフロベニウスノルム距離に期待して線型収束することを示す。
論文参考訳（メタデータ） (2021-02-23T17:48:39Z)
ImitationFlow: Learning Deep Stable Stochastic Dynamic Systems by Normalizing Flows [29.310742141970394]
我々は,世界規模で安定な非線形力学を学習できる新しいDeep生成モデルであるImitationFlowを紹介した。提案手法の有効性を,標準データセットと実ロボット実験の両方で示す。
論文参考訳（メタデータ） (2020-10-25T14:49:46Z)
Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。電力グリッドからの負荷データを用いたテストケースの結果が提示される。
論文参考訳（メタデータ） (2020-10-08T20:25:52Z)
Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。