論文の概要: Negative Feedback System as Optimizer for Machine Learning Systems

• arxiv url: http://arxiv.org/abs/2103.14115v2
• Date: Sun, 22 Dec 2024 20:38:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:53:21.377873
• Title: Negative Feedback System as Optimizer for Machine Learning Systems
• Title（参考訳）: 機械学習システムの最適化手法としての負のフィードバックシステム
• Authors: Md Munir Hasan, Jeremy Holleman,
• Abstract要約: 本稿では, ネガティブフィードバックシステムの関数反転処理が, 機械学習における最適化手法の物理的類似性としてどのように機能するかを述べる。 このプロセスは勾配降下法が故障した場合に微分不可能な関数を学習できることを示す。
• 参考スコア（独自算出の注目度）: 0.19385278572834808
• License:
• Abstract: With high forward gain, a negative feedback system has the ability to perform the inverse of a linear or non-linear function that is in the feedback path. This property of negative feedback systems has been widely used in analog electronic circuits to construct precise closed-loop functions. This paper describes how the function-inverting process of a negative feedback system serves as a physical analogy of the optimization technique in machine learning. We show that this process is able to learn some non-differentiable functions in cases where a gradient descent-based method fails. We also show that the optimization process reduces to gradient descent under the constraint of squared error minimization. We derive the backpropagation technique and other known optimization techniques of deep networks from the properties of negative feedback system independently of the gradient descent method. This analysis provides a novel view of neural network optimization and may provide new insights on open problems.
• Abstract（参考訳）: 高いフォワードゲインでは、負のフィードバックシステムは、フィードバックパスにある線形あるいは非線形関数の逆数を実行することができる。 この負のフィードバックシステムの特性は、正確な閉ループ関数を構築するためにアナログ電子回路で広く用いられている。 本稿では, ネガティブフィードバックシステムの関数反転処理が, 機械学習における最適化手法の物理的類似性としてどのように機能するかを述べる。 このプロセスは勾配降下法が故障した場合に微分不可能な関数を学習できることを示す。 また,2乗誤差最小化の制約下では,最適化プロセスが勾配降下に還元されることを示す。 我々は、勾配降下法とは無関係に、負のフィードバックシステムの特性から、奥行きネットワークのバックプロパゲーション手法および他の既知の最適化手法を導出する。 この分析は、ニューラルネットワーク最適化の新しいビューを提供し、オープンな問題に関する新たな洞察を提供するかもしれない。

関連論文リスト

• Gradient-free neural topology optimization [0.0]
  勾配のないアルゴリズムは勾配に基づくアルゴリズムと比較して多くの繰り返しを収束させる必要がある。 これにより、反復1回あたりの計算コストとこれらの問題の高次元性のため、トポロジ最適化では実現不可能となった。 我々は,潜時空間における設計を最適化する場合に,少なくとも1桁の繰り返し回数の減少につながる事前学習型ニューラルリパラメータ化戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-07T23:00:49Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• A Particle-based Sparse Gaussian Process Optimizer [5.672919245950197]
  本稿では,下降の動的過程を利用した新しいスワム・スワムベースのフレームワークを提案する。 このアプローチの最大の利点は、降下を決定する前に現在の状態についてより深い探索を行うことである。
  論文  参考訳（メタデータ） (2022-11-26T09:06:15Z)
• neos: End-to-End-Optimised Summary Statistics for High Energy Physics [0.0]
  ディープラーニングは、計算の勾配を自動的に計算する強力なツールを提供する。 これは、ニューラルネットワークのトレーニングが、勾配降下を使ってパラメータを反復的に更新し、損失関数の最小値を求めるためである。 ディープラーニングはより広範なパラダイムのサブセットであり、エンドツーエンドで最適化可能な自由なパラメータを備えたワークフローである。
  論文  参考訳（メタデータ） (2022-03-10T14:08:05Z)
• Physical Gradients for Deep Learning [101.36788327318669]
  最先端のトレーニング技術は、物理的なプロセスに関わる多くの問題に適していないことが分かりました。 本稿では,高次最適化手法と機械学習手法を組み合わせた新しいハイブリッドトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-30T12:14:31Z)
• Learning Linearized Assignment Flows for Image Labeling [70.540936204654]
  画像ラベリングのための線形化代入フローの最適パラメータを推定するための新しいアルゴリズムを提案する。 この式をKrylov部分空間と低ランク近似を用いて効率的に評価する方法を示す。
  論文  参考訳（メタデータ） (2021-08-02T13:38:09Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。