論文の概要: Two Tales of Single-Phase Contrastive Hebbian Learning

• arxiv url: http://arxiv.org/abs/2402.08573v2
• Date: Sun, 23 Jun 2024 15:14:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 02:01:18.155959
• Title: Two Tales of Single-Phase Contrastive Hebbian Learning
• Title（参考訳）: 単相コントラストヘビアン学習の2つの物語
• Authors: Rasmus Kjær Høier, Christopher Zach,
• Abstract要約: 完全局所学習アルゴリズムである「二重伝搬」は,性能ギャップをバックプロパゲーションに埋めることが可能であることを示す。 このアルゴリズムは、その数値安定性が、生物学的およびアナログ的な実装において制限的な対称ヌーディングに依存しているという欠点がある。
• 参考スコア（独自算出の注目度）: 9.84489449520821
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The search for ``biologically plausible'' learning algorithms has converged on the idea of representing gradients as activity differences. However, most approaches require a high degree of synchronization (distinct phases during learning) and introduce substantial computational overhead, which raises doubts regarding their biological plausibility as well as their potential utility for neuromorphic computing. Furthermore, they commonly rely on applying infinitesimal perturbations (nudges) to output units, which is impractical in noisy environments. Recently it has been shown that by modelling artificial neurons as dyads with two oppositely nudged compartments, it is possible for a fully local learning algorithm named ``dual propagation'' to bridge the performance gap to backpropagation, without requiring separate learning phases or infinitesimal nudging. However, the algorithm has the drawback that its numerical stability relies on symmetric nudging, which may be restrictive in biological and analog implementations. In this work we first provide a solid foundation for the objective underlying the dual propagation method, which also reveals a surprising connection with adversarial robustness. Second, we demonstrate how dual propagation is related to a particular adjoint state method, which is stable regardless of asymmetric nudging.
• Abstract（参考訳）: 生物学的に妥当な」学習アルゴリズムの探索は、勾配を活動差として表すという考え方に集約されている。 しかし、ほとんどのアプローチは高い同期(学習中の特定のフェーズ)を必要とし、かなりの計算オーバーヘッドを導入し、その生物学的な妥当性やニューロモルフィックコンピューティングの潜在的な有用性に疑問を呈する。 さらに、彼らは一般的に、ノイズの多い環境では非現実的である出力単位に無限小摂動 (nudges) を適用することに頼っている。 近年, 人工ニューロンを2つの正反対の区画を持つダイアドとしてモデル化することにより, 個別の学習フェーズや無限小ヌーディングを必要とせず, 性能ギャップをバックプロパゲーションに橋渡しする「デュアルプロパゲーション」という完全局所学習アルゴリズムが可能であることが示されている。 しかし、このアルゴリズムは、その数値安定性が、生物学的およびアナログ的な実装において制限的な対称ヌードに依存しているという欠点がある。 本研究は、まず、二重伝搬法の基礎となる目的のための堅固な基盤を提供し、また、対角的強靭性との驚くべき関係を明らかにした。 第二に、二重伝播が非対称なヌーディングによらず安定な特定の随伴状態法とどのように関連しているかを示す。

関連論文リスト

• stl2vec: Semantic and Interpretable Vector Representation of Temporal Logic [0.5956301166481089]
  論理式を意味的に基底としたベクトル表現(機能埋め込み)を提案する。 我々はいくつかの望ましい性質を持つ公式の連続的な埋め込みを計算する。 本稿では,学習モデル検査とニューロシンボリック・フレームワークの2つの課題において,アプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-23T10:04:56Z)
• Dual Propagation: Accelerating Contrastive Hebbian Learning with Dyadic Neurons [15.147172044848798]
  本稿では,2つの内在状態を持つダイアドを各ニューロンが有する2重伝搬という,単純なエネルギーベース複合ニューロンモデルを提案する。 この手法の利点は、1つの推論フェーズしか必要とせず、レイヤーワイド閉形式で推論を解くことができることである。 実験では、Imagenet32x32を含む一般的なコンピュータビジョンデータセットにおいて、二重伝搬がバックプロパゲーションと等価であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T17:07:36Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• Efficient Performance Bounds for Primal-Dual Reinforcement Learning from Demonstrations [1.0609815608017066]
  本稿では,コスト関数の不明な大規模マルコフ決定プロセスについて考察し,限られた専門家による実証から政策を学習する問題に対処する。 既存の逆強化学習法には強力な理論的保証があるが、計算上は高価である。 ラグランジアン双対性を利用して理論と実践のギャップを埋める新しい双線型サドルポイントフレームワークを導入する。
  論文  参考訳（メタデータ） (2021-12-28T05:47:24Z)
• Equivalence between algorithmic instability and transition to replica symmetry breaking in perceptron learning systems [16.065867388984078]
  バイナリパーセプトロンは非アルゴリズム最適化のための教師あり学習のモデルである。 レプリカサドル点を破る不安定性は自由エネルギー関数と同一であることを示す。
  論文  参考訳（メタデータ） (2021-11-26T03:23:18Z)
• Unpaired Adversarial Learning for Single Image Deraining with Rain-Space Contrastive Constraints [61.40893559933964]
  我々は,CDR-GAN という名称の GAN フレームワークにおいて,比較学習手法により,経験者の相互特性を探索する有効な非経験的 SID 手法を開発した。 提案手法は, 合成および実世界の両方のデータセットにおいて, 既存の非対効果のデラミニング手法に対して良好に動作し, 完全教師付きモデルや半教師付きモデルよりも優れている。
  論文  参考訳（メタデータ） (2021-09-07T10:00:45Z)
• Lifting the Convex Conjugate in Lagrangian Relaxations: A Tractable Approach for Continuous Markov Random Fields [53.31927549039624]
  断片的な離散化は既存の離散化問題と矛盾しないことを示す。 この理論を2つの画像のマッチング問題に適用する。
  論文  参考訳（メタデータ） (2021-07-13T12:31:06Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Modal Uncertainty Estimation via Discrete Latent Representation [4.246061945756033]
  本稿では,インプットとアウトプットの1対1マッピングを,忠実な不確実性対策とともに学習するディープラーニングフレームワークを提案する。 我々のフレームワークは、現在の最先端手法よりもはるかに正確な不確実性推定を実証している。
  論文  参考訳（メタデータ） (2020-07-25T05:29:34Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Towards Certified Robustness of Distance Metric Learning [53.96113074344632]
  我々は,距離学習アルゴリズムの一般化とロバスト性を改善するために,入力空間に逆のマージンを付与することを提唱する。 アルゴリズム的ロバスト性の理論手法を用いることにより,拡張マージンは一般化能力に有益であることを示す。
  論文  参考訳（メタデータ） (2020-06-10T16:51:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。