論文の概要: Training Neural Networks Using the Property of Negative Feedback to Inverse a Function

• arxiv url: http://arxiv.org/abs/2103.14115v1
• Date: Thu, 25 Mar 2021 20:13:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 01:37:54.710122
• Title: Training Neural Networks Using the Property of Negative Feedback to Inverse a Function
• Title（参考訳）: 逆関数に対する負フィードバック特性を用いたニューラルネットワークの学習
• Authors: Md Munir Hasan and Jeremy Holleman
• Abstract要約: 本稿では,関数の逆解析を行う負のフィードバックシステムの特性をニューラルネットワークのトレーニングに利用する方法について述べる。 本手法をMNISTデータセットに適用し,ニューラルネットワークのトレーニングに有効であることを示す結果を得た。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With high forward gain, a negative feedback system has the ability to perform the inverse of a linear or non linear function that is in the feedback path. This property of negative feedback systems has been widely used in analog circuits to construct precise closed-loop functions. This paper describes how the property of a negative feedback system to perform inverse of a function can be used for training neural networks. This method does not require that the cost or activation functions be differentiable. Hence, it is able to learn a class of non-differentiable functions as well where a gradient descent-based method fails. We also show that gradient descent emerges as a special case of the proposed method. We have applied this method to the MNIST dataset and obtained results that shows the method is viable for neural network training. This method, to the best of our knowledge, is novel in machine learning.
• Abstract（参考訳）: 高フォワードゲインでは、負のフィードバックシステムは、フィードバックパスにある線形または非線型関数の逆を実行することができる。 この負のフィードバックシステムの特性は、正確な閉ループ関数を構築するためにアナログ回路で広く用いられている。 本稿では,関数の逆解析を行う負のフィードバックシステムの特性をニューラルネットワークのトレーニングに利用する方法について述べる。 この方法は、コストやアクティベーション関数が微分可能である必要はない。 したがって、微分不可能な関数のクラスを学ぶことができ、勾配降下に基づく手法が失敗する。 また,提案手法の特別な場合として勾配降下が出現することを示した。 本手法をmnistデータセットに適用し,ニューラルネットワークの学習に有効であることを示す結果を得た。 この方法は、私たちの知る限り、機械学習において新しいものです。

関連論文リスト

• Gradient-free neural topology optimization [0.0]
  勾配のないアルゴリズムは勾配に基づくアルゴリズムと比較して多くの繰り返しを収束させる必要がある。 これにより、反復1回あたりの計算コストとこれらの問題の高次元性のため、トポロジ最適化では実現不可能となった。 我々は,潜時空間における設計を最適化する場合に,少なくとも1桁の繰り返し回数の減少につながる事前学習型ニューラルリパラメータ化戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-07T23:00:49Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• A Particle-based Sparse Gaussian Process Optimizer [5.672919245950197]
  本稿では,下降の動的過程を利用した新しいスワム・スワムベースのフレームワークを提案する。 このアプローチの最大の利点は、降下を決定する前に現在の状態についてより深い探索を行うことである。
  論文  参考訳（メタデータ） (2022-11-26T09:06:15Z)
• neos: End-to-End-Optimised Summary Statistics for High Energy Physics [0.0]
  ディープラーニングは、計算の勾配を自動的に計算する強力なツールを提供する。 これは、ニューラルネットワークのトレーニングが、勾配降下を使ってパラメータを反復的に更新し、損失関数の最小値を求めるためである。 ディープラーニングはより広範なパラダイムのサブセットであり、エンドツーエンドで最適化可能な自由なパラメータを備えたワークフローである。
  論文  参考訳（メタデータ） (2022-03-10T14:08:05Z)
• Physical Gradients for Deep Learning [101.36788327318669]
  最先端のトレーニング技術は、物理的なプロセスに関わる多くの問題に適していないことが分かりました。 本稿では,高次最適化手法と機械学習手法を組み合わせた新しいハイブリッドトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-30T12:14:31Z)
• Learning Linearized Assignment Flows for Image Labeling [70.540936204654]
  画像ラベリングのための線形化代入フローの最適パラメータを推定するための新しいアルゴリズムを提案する。 この式をKrylov部分空間と低ランク近似を用いて効率的に評価する方法を示す。
  論文  参考訳（メタデータ） (2021-08-02T13:38:09Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。