論文の概要: The least-control principle for learning at equilibrium

• arxiv url: http://arxiv.org/abs/2207.01332v1
• Date: Mon, 4 Jul 2022 11:27:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 23:31:48.675097
• Title: The least-control principle for learning at equilibrium
• Title（参考訳）: 平衡学習における最小制御原理
• Authors: Alexander Meulemans, Nicolas Zucchet, Seijin Kobayashi, Johannes von Oswald, Jo\~ao Sacramento
• Abstract要約: 我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
• 参考スコア（独自算出の注目度）: 65.2998274413952
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Equilibrium systems are a powerful way to express neural computations. As special cases, they include models of great current interest in both neuroscience and machine learning, such as equilibrium recurrent neural networks, deep equilibrium models, or meta-learning. Here, we present a new principle for learning such systems with a temporally- and spatially-local rule. Our principle casts learning as a least-control problem, where we first introduce an optimal controller to lead the system towards a solution state, and then define learning as reducing the amount of control needed to reach such a state. We show that incorporating learning signals within a dynamics as an optimal control enables transmitting credit assignment information in previously unknown ways, avoids storing intermediate states in memory, and does not rely on infinitesimal learning signals. In practice, our principle leads to strong performance matching that of leading gradient-based learning methods when applied to an array of problems involving recurrent neural networks and meta-learning. Our results shed light on how the brain might learn and offer new ways of approaching a broad class of machine learning problems.
• Abstract（参考訳）: 平衡系は神経計算を表現する強力な方法である。 特殊な場合として、それらは、平衡再帰ニューラルネットワーク、深層平衡モデル、メタラーニングなど、神経科学と機械学習の両方に対する大きな関心のモデルを含んでいる。 本稿では、時間的および空間的局所的な規則でそのようなシステムを学ぶための新しい原則を提案する。 我々の原則は学習を最小制御問題とみなし、まずシステムをソリューション状態に導くための最適なコントローラを導入し、次に学習をそのような状態に到達するために必要な制御量の削減として定義する。 最適制御としてダイナミックスに学習信号を組み込むことで、予め未知の方法で信用代入情報を伝達し、中間状態を記憶するのを避けることができ、無限小学習信号に頼らないことを示す。 実際、我々の原理は、繰り返しニューラルネットワークやメタラーニングを含む一連の問題に適用した場合、勾配に基づく学習手法を先導する性能の整合性をもたらす。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供する。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• A minimax optimal control approach for robust neural ODEs [44.99833362998488]
  我々は、頑健な制御の観点から、ニューラルなODEの敵対的訓練に対処する。 我々はポントリャーギンの最大原理の形で一階最適条件を導出する。
  論文  参考訳（メタデータ） (2023-10-26T17:07:43Z)
• NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
  シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。 ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。 我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
  論文  参考訳（メタデータ） (2023-10-08T12:33:42Z)
• Control of synaptic plasticity via the fusion of reinforcement learning and unsupervised learning in neural networks [0.0]
  認知神経科学では、シナプスの可塑性が我々の驚くべき学習能力に不可欠な役割を担っていると広く受け入れられている。 このインスピレーションにより、強化学習と教師なし学習の融合により、新しい学習規則が提案される。 提案した計算モデルでは,非線形最適制御理論を誤差フィードバックループ系に類似させる。
  論文  参考訳（メタデータ） (2023-03-26T12:18:03Z)
• Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
  ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。 我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:06:21Z)
• Port-Hamiltonian Neural Networks for Learning Explicit Time-Dependent Dynamical Systems [2.6084034060847894]
  動的システムの時間的挙動を正確に学習するには、十分な学習バイアスを持つモデルが必要である。 近年のイノベーションは、ハミルトン形式とラグランジュ形式をニューラルネットワークに組み込んでいる。 提案したエンポート・ハミルトンニューラルネットワークは,非線形物理系の実利的な力学を効率的に学習できることを示す。
  論文  参考訳（メタデータ） (2021-07-16T17:31:54Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Watch and learn -- a generalized approach for transferrable learning in deep neural networks via physical principles [0.0]
  本研究では,物理状態の異なる統計物理学における問題に対して,完全に伝達可能な学習を実現するための教師なし学習手法を実証する。 逐次ニューラルネットワークに基づくシーケンスモデルを広範囲のディープニューラルネットワークに結合することにより、古典的な統計力学系の平衡確率分布と粒子間相互作用モデルを学ぶことができる。
  論文  参考訳（メタデータ） (2020-03-03T18:37:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。