論文の概要: Lagrangian-based Equilibrium Propagation: generalisation to arbitrary boundary conditions & equivalence with Hamiltonian Echo Learning

• arxiv url: http://arxiv.org/abs/2506.06248v1
• Date: Fri, 06 Jun 2025 17:17:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.566775
• Title: Lagrangian-based Equilibrium Propagation: generalisation to arbitrary boundary conditions & equivalence with Hamiltonian Echo Learning
• Title（参考訳）: ラグランジアンに基づく平衡伝播:任意の境界条件への一般化とハミルトンエコー学習との等価性
• Authors: Guillaume Pourcel, Debabrota Basu, Maxence Ernoult, Aditya Gilra,
• Abstract要約: GLEP(Generalized Lagrangian Equilibrium Propagation)は、静的入力によるエネルギーベースモデル(EBM)の学習アルゴリズムである。 GLEPはシステムの境界条件に応じて異なる学習アルゴリズムを生成することを示す。 そして, GLEPの特殊な場合として, ハミルトンエコー学習(HEL)が導出可能であることを示す。
• 参考スコア（独自算出の注目度）: 9.058144413941845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Equilibrium Propagation (EP) is a learning algorithm for training Energy-based Models (EBMs) on static inputs which leverages the variational description of their fixed points. Extending EP to time-varying inputs is a challenging problem, as the variational description must apply to the entire system trajectory rather than just fixed points, and careful consideration of boundary conditions becomes essential. In this work, we present Generalized Lagrangian Equilibrium Propagation (GLEP), which extends the variational formulation of EP to time-varying inputs. We demonstrate that GLEP yields different learning algorithms depending on the boundary conditions of the system, many of which are impractical for implementation. We then show that Hamiltonian Echo Learning (HEL) -- which includes the recently proposed Recurrent HEL (RHEL) and the earlier known Hamiltonian Echo Backpropagation (HEB) algorithms -- can be derived as a special case of GLEP. Notably, HEL is the only instance of GLEP we found that inherits the properties that make EP a desirable alternative to backpropagation for hardware implementations: it operates in a "forward-only" manner (i.e. using the same system for both inference and learning), it scales efficiently (requiring only two or more passes through the system regardless of model size), and enables local learning.
• Abstract（参考訳）: Equilibrium Propagation (EP)は、静的入力におけるエネルギーベースモデル(EBM)の学習アルゴリズムである。 EPを時間変化インプットに拡張することは、単に固定点ではなくシステム全体の軌道に変動記述を適用しなければならないため、困難な問題であり、境界条件の慎重な考慮が不可欠である。 本稿では, 一般化ラグランジアン平衡伝播(GLEP)について述べる。 GLEPがシステムの境界条件に応じて異なる学習アルゴリズムを生成することを示すが、その多くが実装には実用的ではない。 次に、最近提案されたリカレントHEL(RHEL)と、それ以前に知られていたHachian Echo Backpropagation(HEB)アルゴリズムを含むHachian Echo Learning(HEL)が、GLEPの特殊なケースとして導出可能であることを示す。 特に、HELは、EPをハードウェア実装のバックプロパゲーションの望ましい代替品にしているプロパティを継承する唯一の例です。それは"フォワードオンリー"な方法で動作し(推論と学習の両方に同じシステムを使用する)、効率よくスケールします(モデルのサイズに関わらず、2つ以上のパスしか必要とせず、ローカルな学習を可能にします。

関連論文リスト

• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Sequence Learning Using Equilibrium Propagation [2.3361887733755897]
  Equilibrium Propagation (EP) は、バックプロパゲーションのような従来の学習フレームワークに代わる、強力でより生物学的な代替手段である。 現代のホップフィールドネットワークにおける最近の発展を利用して、エネルギーベースモデルをさらに理解し、EPを用いた複雑なシーケンス分類タスクのためのソリューションを開発する。
  論文  参考訳（メタデータ） (2022-09-14T20:01:22Z)
• Holomorphic Equilibrium Propagation Computes Exact Gradients Through Finite Size Oscillations [5.279475826661643]
  平衡伝播(Equilibrium propagation、EP)は、深層ニューラルネットワークの局所学習規則によるトレーニングを可能にするバックプロパゲーション(BP)の代替である。 この拡張が有限振幅の教示信号に対しても自然に正確な勾配をもたらすことを示す。 我々は、ImageNet 32x32データセット上でEPの最初のベンチマークを確立し、BPでトレーニングされた等価ネットワークの性能と一致することを示す。
  論文  参考訳（メタデータ） (2022-09-01T15:23:49Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Expectation propagation on the diluted Bayesian classifier [0.0]
  本稿では,二項分類の文脈におけるスパース特徴選択の問題に対処する統計力学にインスパイアされた戦略を導入する。 予測伝搬(EP)として知られる計算スキームは、分類規則を学習する連続重みの知覚を訓練するために用いられる。 EPは、変数選択特性、推定精度、計算複雑性の点で頑健で競争力のあるアルゴリズムである。
  論文  参考訳（メタデータ） (2020-09-20T23:59:44Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• State Space Expectation Propagation: Efficient Inference Schemes for Temporal Gaussian Processes [21.22700483305901]
  非時間的時間的および時間的共役過程モデルにおけるベイズ推定を近似する。 我々はこれらのアルゴリズムについて統一的な視点を提供し、パワーEPモーメントマッチングのステップを線形化に置き換えることで、古典的なスムースラーをいかに回復するかを示す。
  論文  参考訳（メタデータ） (2020-07-12T13:59:25Z)
• Strictly Batch Imitation Learning by Energy-based Distribution Matching [104.33286163090179]
  すなわち、強化信号へのアクセスがなく、遷移力学の知識がなく、環境とのさらなる相互作用もない。 1つの解決策は、既存のアルゴリズムをオフライン環境で動作させるために、見習いの学習に適合させることである。 しかし、このようなアプローチは、政治外の評価やオフラインモデルの推定に大きく依存しており、間接的で非効率である可能性がある。 優れたソリューションは、ポリシーを明示的にパラメータ化し、ロールアウトダイナミクスから暗黙的に学習し、完全にオフラインで運用できるべきだ、と私たちは主張する。
  論文  参考訳（メタデータ） (2020-06-25T03:27:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。