論文の概要: Statistical mechanics of continual learning: variational principle and mean-field potential

• arxiv url: http://arxiv.org/abs/2212.02846v4
• Date: Tue, 20 Jun 2023 04:41:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 04:47:39.470090
• Title: Statistical mechanics of continual learning: variational principle and mean-field potential
• Title（参考訳）: 連続学習の統計力学--変動原理と平均場ポテンシャル
• Authors: Chan Li and Zhenye Huang and Wenxuan Zou and Haiping Huang
• Abstract要約: 重み付き単層および多層ニューラルネットワークにおける連続学習に着目する。 ニューラルネットワークをフィールド空間でトレーニングする,変分ベイズ学習環境を提案する。 重みの不確実性は自然に組み込まれ、タスク間のシナプス資源を調節する。 提案するフレームワークは、弾力的な重みの強化、重みの不確実性学習、神経科学によるメタ可塑性にも結びついている。
• 参考スコア（独自算出の注目度）: 1.559929646151698
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An obstacle to artificial general intelligence is set by continual learning of multiple tasks of different nature. Recently, various heuristic tricks, both from machine learning and from neuroscience angles, were proposed, but they lack a unified theory ground. Here, we focus on continual learning in single-layered and multi-layered neural networks of binary weights. A variational Bayesian learning setting is thus proposed, where the neural networks are trained in a field-space, rather than gradient-ill-defined discrete-weight space, and furthermore, weight uncertainty is naturally incorporated, and modulates synaptic resources among tasks. From a physics perspective, we translate the variational continual learning into Franz-Parisi thermodynamic potential framework, where previous task knowledge acts as a prior and a reference as well. We thus interpret the continual learning of the binary perceptron in a teacher-student setting as a Franz-Parisi potential computation. The learning performance can then be analytically studied with mean-field order parameters, whose predictions coincide with numerical experiments using stochastic gradient descent methods. Based on the variational principle and Gaussian field approximation of internal preactivations in hidden layers, we also derive the learning algorithm considering weight uncertainty, which solves the continual learning with binary weights using multi-layered neural networks, and performs better than the currently available metaplasticity algorithm. Our proposed principled frameworks also connect to elastic weight consolidation, weight-uncertainty modulated learning, and neuroscience inspired metaplasticity, providing a theory-grounded method for the real-world multi-task learning with deep networks.
• Abstract（参考訳）: 人工知能への障害は、異なる性質の複数のタスクの連続的な学習によって設定される。 近年、機械学習と神経科学のアングルの両方から様々なヒューリスティックなトリックが提案されているが、それらは統一された理論基盤を欠いている。 本稿では,重み付き単層および多層ニューラルネットワークにおける連続学習に着目した。 そこで, ニューラルネットワークは, 勾配が定義する離散重み空間ではなく, フィールド空間で訓練され, さらに, 重みの不確かさが自然に組み込まれ, タスク間のシナプス資源を調節する, 変分ベイズ学習環境を提案する。 物理学的な観点からは、変分連続学習をフランツ・パリシ熱力学ポテンシャルフレームワークに翻訳し、そこでは以前のタスク知識が事前および参照として振る舞う。 そこで我々は、Franz-Parisiポテンシャル計算として教師-学生設定でバイナリパーセプトロンの連続学習を解釈する。 学習性能は平均場次数パラメータを用いて解析され、その予測は確率勾配降下法による数値実験と一致する。 また,隠れ層における内部前活性化の変分原理とガウス場近似に基づいて,重みの不確かさを考慮した学習アルゴリズムを導出し,多層ニューラルネットワークを用いた2元重みによる連続学習を解き,現在利用可能なメタ可塑性アルゴリズムよりも優れた結果を得る。 提案する原則フレームワークは, 弾性重み強化, 重み未確認変調学習, 神経科学に触発されたメタ塑性にもつながり, 深層ネットワークを用いた実世界マルチタスク学習のための理論基礎的手法を提供する。

関連論文リスト

• From Lazy to Rich: Exact Learning Dynamics in Deep Linear Networks [47.13391046553908]
  人工ネットワークでは、これらのモデルの有効性はタスク固有の表現を構築する能力に依存している。 以前の研究では、異なる初期化によって、表現が静的な遅延状態にあるネットワークや、表現が動的に進化するリッチ/フィーチャーな学習体制のいずれかにネットワークを配置できることが強調されていた。 これらの解は、豊かな状態から遅延状態までのスペクトルにわたる表現とニューラルカーネルの進化を捉えている。
  論文  参考訳（メタデータ） (2024-09-22T23:19:04Z)
• ShadowNet for Data-Centric Quantum System Learning [188.683909185536]
  本稿では,ニューラルネットワークプロトコルと古典的シャドウの強みを組み合わせたデータ中心学習パラダイムを提案する。 ニューラルネットワークの一般化力に基づいて、このパラダイムはオフラインでトレーニングされ、これまで目に見えないシステムを予測できる。 量子状態トモグラフィーおよび直接忠実度推定タスクにおいて、我々のパラダイムのインスタンス化を示し、60量子ビットまでの数値解析を行う。
  論文  参考訳（メタデータ） (2023-08-22T09:11:53Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Bayesian Continual Learning via Spiking Neural Networks [38.518936229794214]
  我々は,学習課題の変更に適応可能なニューロモルフィックシステムの設計に向けて一歩踏み出した。 ベイズ連続学習フレームワーク内のニューラルネットワーク(SNN)をスパイクするためのオンライン学習ルールを導出する。 実数値と二値のシナプス重みに対する提案手法のインスタンス化を行う。
  論文  参考訳（メタデータ） (2022-08-29T17:11:14Z)
• The least-control principle for learning at equilibrium [65.2998274413952]
  我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
  論文  参考訳（メタデータ） (2022-07-04T11:27:08Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Training multi-objective/multi-task collocation physics-informed neural network with student/teachers transfer learnings [0.0]
  本稿では,事前学習ステップとネット間知識伝達アルゴリズムを用いたPINNトレーニングフレームワークを提案する。 多目的最適化アルゴリズムは、競合する制約のある物理的インフォームドニューラルネットワークの性能を向上させることができる。
  論文  参考訳（メタデータ） (2021-07-24T00:43:17Z)
• Identifying Learning Rules From Neural Network Observables [26.96375335939315]
  学習ルールの異なるクラスは、重み、アクティベーション、即時的な階層的活動変化の集計統計に基づいてのみ分離可能であることを示す。 本研究は, シナプス後活動の電気生理学的記録から得られる活性化パターンが, 学習規則の同定に有効であることを示すものである。
  論文  参考訳（メタデータ） (2020-10-22T14:36:54Z)
• Understanding and mitigating gradient pathologies in physics-informed neural networks [2.1485350418225244]
  この研究は、物理システムの結果を予測し、ノイズの多いデータから隠れた物理を発見するための物理情報ニューラルネットワークの有効性に焦点を当てる。 本稿では,モデル学習中の勾配統計を利用して,複合損失関数の異なる項間の相互作用のバランスをとる学習速度アニーリングアルゴリズムを提案する。 また、そのような勾配に耐性のある新しいニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-01-13T21:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。