論文の概要: Energy-based learning algorithms for analog computing: a comparative study

• arxiv url: http://arxiv.org/abs/2312.15103v1
• Date: Fri, 22 Dec 2023 22:49:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 19:50:09.249308
• Title: Energy-based learning algorithms for analog computing: a comparative study
• Title（参考訳）: アナログコンピューティングのためのエネルギーベース学習アルゴリズムの比較研究
• Authors: Benjamin Scellier, Maxence Ernoult, Jack Kendall, Suhas Kumar
• Abstract要約: エネルギーベースの学習アルゴリズムは、最近アナログハードウェアとの互換性のため、関心が高まっている。 我々は、コントラスト学習(CL)、平衡伝播(EP)、結合学習(CpL)の7つの学習アルゴリズムを比較した。 負の摂動は正の摂動よりも優れており,その中心となるEPの変形を最良性能のアルゴリズムとして強調する。
• 参考スコア（独自算出の注目度）: 2.0937431058291933
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Energy-based learning algorithms have recently gained a surge of interest due to their compatibility with analog (post-digital) hardware. Existing algorithms include contrastive learning (CL), equilibrium propagation (EP) and coupled learning (CpL), all consisting in contrasting two states, and differing in the type of perturbation used to obtain the second state from the first one. However, these algorithms have never been explicitly compared on equal footing with same models and datasets, making it difficult to assess their scalability and decide which one to select in practice. In this work, we carry out a comparison of seven learning algorithms, namely CL and different variants of EP and CpL depending on the signs of the perturbations. Specifically, using these learning algorithms, we train deep convolutional Hopfield networks (DCHNs) on five vision tasks (MNIST, F-MNIST, SVHN, CIFAR-10 and CIFAR-100). We find that, while all algorithms yield comparable performance on MNIST, important differences in performance arise as the difficulty of the task increases. Our key findings reveal that negative perturbations are better than positive ones, and highlight the centered variant of EP (which uses two perturbations of opposite sign) as the best-performing algorithm. We also endorse these findings with theoretical arguments. Additionally, we establish new SOTA results with DCHNs on all five datasets, both in performance and speed. In particular, our DCHN simulations are 13.5 times faster with respect to Laborieux et al. (2021), which we achieve thanks to the use of a novel energy minimisation algorithm based on asynchronous updates, combined with reduced precision (16 bits).
• Abstract（参考訳）: エネルギーベースの学習アルゴリズムは最近、アナログ(ポストデジタル)ハードウェアとの互換性から、注目を集めている。 既存のアルゴリズムには、コントラスト学習(cl)、平衡伝播(ep)、結合学習(cpl)があり、いずれも2つの状態と対照的に構成され、第1の状態から第2状態を得るのに使用される摂動の種類が異なる。 しかし、これらのアルゴリズムは、同じモデルやデータセットと等価な基盤で明示的に比較されることはないため、スケーラビリティを評価し、実際にどれを選ぶかを決めるのが困難である。 本研究では, 摂動の兆候に応じて, 7つの学習アルゴリズム,すなわちCLとEPとCpLの異なる変種を比較した。 具体的には、これらの学習アルゴリズムを用いて、5つの視覚タスク(MNIST、F-MNIST、SVHN、CIFAR-10、CIFAR-100)で深層畳み込みホップフィールドネットワーク(DCHN)を訓練する。 全てのアルゴリズムがMNISTに匹敵する性能をもたらすが、タスクの難しさが増すにつれて、性能上の重要な違いが生じる。 私たちの重要な発見は、負の摂動は正の摂動よりも良いことを示し、ep(反対符号の2つの摂動を用いる)の中心的変種を最も優れたアルゴリズムとして強調する。 また、これらの発見を理論的議論で裏付ける。 さらに、DCHNを5つのデータセットすべてに対して、性能と速度の両方で新しいSOTA結果を確立する。 特に,我々のDCHNシミュレーションは,非同期更新に基づく新しいエネルギー最小化アルゴリズムと,精度の低下(16ビット)を併用して実現したLabieux et al.(2021)の13.5倍高速である。

関連論文リスト

• Coverage Analysis of Multi-Environment Q-Learning Algorithms for Wireless Network Optimization [18.035417008213077]
  最近の進歩には、アンサンブルマルチ環境ハイブリッドQ-ラーニングアルゴリズムが含まれる。 提案アルゴリズムは,現状の強化学習アルゴリズムよりも,ポリシエラーの50パーセント,実行時複雑性の40パーセントを達成可能であることを示す。
  論文  参考訳（メタデータ） (2024-08-29T20:09:20Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Federated Learning via Inexact ADMM [46.99210047518554]
  本稿では,乗算器の不正確な交互方向法(ADMM)を提案する。 どちらも通信効率が高く、ストラグラー効果と戦うことができ、穏やかな条件下で収束する。 フェデレート学習のためのいくつかの最先端アルゴリズムと比較して高い数値性能を持つ。
  論文  参考訳（メタデータ） (2022-04-22T09:55:33Z)
• Recursive Least Squares Advantage Actor-Critic Algorithms [20.792917267835247]
  2つの新しいRSSベースのアドバンテージアクター批評家アルゴリズム(A2C)を提案する。 RLSSA2C と RLSNA2C は RLS 法を用いて批評家ネットワークとアクターネットワークの隠れ層を訓練する。 実験結果から,両アルゴリズムは,ほとんどのゲームやタスクにおいて,バニラA2Cよりもサンプリング効率がよいことがわかった。
  論文  参考訳（メタデータ） (2022-01-15T20:00:26Z)
• A Pragmatic Look at Deep Imitation Learning [0.3626013617212666]
  我々は6つの異なる対向的模倣学習アルゴリズムを再実装する。 広く使われている専門的軌跡データセットで評価する。 GAILは、様々なサンプルサイズにわたって、一貫してよく機能する。
  論文  参考訳（メタデータ） (2021-08-04T06:33:10Z)
• Provably Faster Algorithms for Bilevel Optimization [54.83583213812667]
  バイレベル最適化は多くの重要な機械学習アプリケーションに広く適用されている。 両レベル最適化のための2つの新しいアルゴリズムを提案する。 両アルゴリズムが$mathcalO(epsilon-1.5)$の複雑さを達成し,既存のアルゴリズムを桁違いに上回っていることを示す。
  論文  参考訳（メタデータ） (2021-06-08T21:05:30Z)
• Waypoint Planning Networks [66.72790309889432]
  本稿では,ローカルカーネル(A*のような古典的アルゴリズム)と学習アルゴリズムを用いたグローバルカーネルを用いたLSTMに基づくハイブリッドアルゴリズムを提案する。 我々は、WPNとA*を比較し、動き計画ネットワーク(MPNet)やバリューネットワーク(VIN)を含む関連する作業と比較する。 WPN の探索空間は A* よりもかなり小さいが、ほぼ最適な結果が得られることが示されている。
  論文  参考訳（メタデータ） (2021-05-01T18:02:01Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。