論文の概要: Agnostic Physics-Driven Deep Learning
- arxiv url: http://arxiv.org/abs/2205.15021v1
- Date: Mon, 30 May 2022 12:02:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-31 18:04:53.371101
- Title: Agnostic Physics-Driven Deep Learning
- Title(参考訳): 不可解な物理駆動型ディープラーニング
- Authors: Benjamin Scellier, Siddhartha Mishra, Yoshua Bengio, Yann Ollivier
- Abstract要約: この研究は、物理系が勾配計算を使わずに統計的勾配学習を行えることを証明している。
Aeqpropでは、システムの詳細を知る必要はなく、プロシージャは外部操作に基づいている。
Aeqpropはまた、自然(生物)物理系において、真の勾配に基づく統計学習は、一般的な比較的単純なメカニズムによってもたらされることを証明している。
- 参考スコア(独自算出の注目度): 82.89993762912795
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work establishes that a physical system can perform statistical learning
without gradient computations, via an Agnostic Equilibrium Propagation
(Aeqprop) procedure that combines energy minimization, homeostatic control, and
nudging towards the correct response. In Aeqprop, the specifics of the system
do not have to be known: the procedure is based only on external manipulations,
and produces a stochastic gradient descent without explicit gradient
computations. Thanks to nudging, the system performs a true, order-one gradient
step for each training sample, in contrast with order-zero methods like
reinforcement or evolutionary strategies, which rely on trial and error. This
procedure considerably widens the range of potential hardware for statistical
learning to any system with enough controllable parameters, even if the details
of the system are poorly known. Aeqprop also establishes that in natural
(bio)physical systems, genuine gradient-based statistical learning may result
from generic, relatively simple mechanisms, without backpropagation and its
requirement for analytic knowledge of partial derivatives.
- Abstract(参考訳): この研究は、エネルギー最小化、ホメオスタティック制御、正しい応答に向けてヌードするAgnostic Equilibrium Propagation (Aeqprop) 手順を通じて、物理系が勾配計算なしで統計的学習を行えることを証明している。
aeqpropでは、この手順は外部操作のみに基づいており、明示的な勾配計算なしで確率的勾配降下を生成する。
ナッジングのおかげで、システムはトレーニングサンプルごとに真のオーダーワン勾配ステップを実行し、強化や進化戦略のような、試行錯誤に依存するオーダーゼロのメソッドとは対照的に。
この手順は、たとえシステムの詳細がよく分かっていないとしても、十分な制御可能なパラメータを持つシステムに統計的学習のための潜在的なハードウェアの範囲を大幅に広げる。
Aeqpropはまた、自然(生物)物理系において、真の勾配に基づく統計学習は、バックプロパゲーションのない比較的単純な機構と、部分微分の解析的知識の要求によって生じる可能性があることを証明している。
関連論文リスト
- Hierarchical-Hyperplane Kernels for Actively Learning Gaussian Process
Models of Nonstationary Systems [5.1672267755831705]
グラデーションベースの手法で学習可能なパーティショニングを組み込んだカーネルファミリーを提案する。
各種能動的学習課題における優れた性能を実証的に示す。
論文 参考訳(メタデータ) (2023-03-17T14:50:51Z) - A Causality-Based Learning Approach for Discovering the Underlying
Dynamics of Complex Systems from Partial Observations with Stochastic
Parameterization [1.2882319878552302]
本稿では,部分的な観測を伴う複雑な乱流系の反復学習アルゴリズムを提案する。
モデル構造を識別し、観測されていない変数を復元し、パラメータを推定する。
数値実験により、新しいアルゴリズムはモデル構造を同定し、多くの複雑な非線形系に対して適切なパラメータ化を提供することに成功した。
論文 参考訳(メタデータ) (2022-08-19T00:35:03Z) - Structure-Preserving Learning Using Gaussian Processes and Variational
Integrators [62.31425348954686]
本稿では,機械系の古典力学に対する変分積分器と,ガウス過程の回帰による残留力学の学習の組み合わせを提案する。
我々は、既知のキネマティック制約を持つシステムへのアプローチを拡張し、予測の不確実性に関する公式な境界を提供する。
論文 参考訳(メタデータ) (2021-12-10T11:09:29Z) - Random features for adaptive nonlinear control and prediction [15.354147587211031]
本稿では,適応制御と適応予測の両方のためのトラクタブルアルゴリズムを提案する。
未知のダイナミクスを$textitrandom$基底関数の有限拡張で近似する。
注目すべきは、明示的な境界は、システムの根底にあるパラメータに$textitpolynomially$のみ依存するということです。
論文 参考訳(メタデータ) (2021-06-07T13:15:40Z) - Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。
本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
論文 参考訳(メタデータ) (2021-05-17T08:36:18Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳(メタデータ) (2020-11-18T18:52:08Z) - Active Learning for Nonlinear System Identification with Guarantees [102.43355665393067]
状態遷移が既知の状態-作用対の特徴埋め込みに線形に依存する非線形力学系のクラスについて検討する。
そこで本稿では, トラジェクティブ・プランニング, トラジェクティブ・トラッキング, システムの再推定という3つのステップを繰り返すことで, この問題を解決するためのアクティブ・ラーニング・アプローチを提案する。
本手法は, 非線形力学系を標準線形回帰の統計速度と同様, パラメトリック速度で推定する。
論文 参考訳(メタデータ) (2020-06-18T04:54:11Z) - On dissipative symplectic integration with applications to
gradient-based optimization [77.34726150561087]
本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。
我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
論文 参考訳(メタデータ) (2020-04-15T00:36:49Z) - Deep Learning Tubes for Tube MPC [21.84264471259777]
深層学習を用いて、軌道の振舞いの表現的かつ柔軟なモデルを得る。
非線形モデル予測制御(MPC)に使用する。
非線形四元数系のシミュレーション実験について述べる。
論文 参考訳(メタデータ) (2020-02-05T00:32:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。