論文の概要: A Unified Perspective on Optimization in Machine Learning and Neuroscience: From Gradient Descent to Neural Adaptation

• arxiv url: http://arxiv.org/abs/2510.18812v1
• Date: Tue, 21 Oct 2025 17:10:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:14.016408
• Title: A Unified Perspective on Optimization in Machine Learning and Neuroscience: From Gradient Descent to Neural Adaptation
• Title（参考訳）: 機械学習と神経科学における最適化の統一的視点:グラディエント・ディフレッシュからニューラル・アダプテーションへ
• Authors: Jesús García Fernández, Nasir Ahmad, Marcel van Gerven,
• Abstract要約: 反復最適化は現代人工知能(AI)の中心である このレビューは、ニューラルネットワークのトレーニングと生物学的学習で古典理論をブリッジする、この主題を統一した視点を提供する。
• 参考スコア（独自算出の注目度）: 1.0851051226732167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Iterative optimization is central to modern artificial intelligence (AI) and provides a crucial framework for understanding adaptive systems. This review provides a unified perspective on this subject, bridging classic theory with neural network training and biological learning. Although gradient-based methods, powered by the efficient but biologically implausible backpropagation (BP), dominate machine learning, their computational demands can hinder scalability in high-dimensional settings. In contrast, derivative-free or zeroth-order (ZO) optimization feature computationally lighter approaches that rely only on function evaluations and randomness. While generally less sample efficient, recent breakthroughs demonstrate that modern ZO methods can effectively approximate gradients and achieve performance competitive with BP in neural network models. This ZO paradigm is also particularly relevant for biology. Its core principles of random exploration (probing) and feedback-guided adaptation (reinforcing) parallel key mechanisms of biological learning, offering a mathematically principled perspective on how the brain learns. In this review, we begin by categorizing optimization approaches based on the order of derivative information they utilize, ranging from first-, second-, and higher-order gradient-based to ZO methods. We then explore how these methods are adapted to the unique challenges of neural network training and the resulting learning dynamics. Finally, we build upon these insights to view biological learning through an optimization lens, arguing that a ZO paradigm leverages the brain's intrinsic noise as a computational resource. This framework not only illuminates our understanding of natural intelligence but also holds vast implications for neuromorphic hardware, helping us design fast and energy-efficient AI systems that exploit intrinsic hardware noise.
• Abstract（参考訳）: 反復最適化は現代の人工知能(AI)の中心であり、適応システムを理解するための重要なフレームワークを提供する。 このレビューは、ニューラルネットワークのトレーニングと生物学的学習で古典理論をブリッジする、この主題を統一した視点を提供する。 勾配に基づく手法は、効率的だが生物学的に証明不可能なバックプロパゲーション (BP) を利用しており、機械学習を支配しているが、その計算要求は高次元設定でのスケーラビリティを阻害する可能性がある。 対照的に、微分自由あるいはゼロ次最適化(ZO)は、関数評価とランダム性にのみ依存する計算的に軽量なアプローチを特徴とする。 一般にサンプル効率は低いが、最近のブレークスルーは、現代のZO法がニューラルネットワークモデルにおけるBPと競合する性能を効果的に近似できることを実証している。 このZOパラダイムは生物学にも特に関係している。 その中核となる原理は、ランダム探索(探索)とフィードバック誘導適応(強化)による生物学的学習の並列化であり、脳の学習方法に関する数学的に原則化された視点を提供する。 本稿では,ZO法から一階,二階,高階,高階の勾配に基づく微分情報の順序に基づいて最適化手法を分類することから始める。 次に、これらの手法がニューラルネットワークトレーニングのユニークな課題や学習ダイナミクスにどのように適応するかを考察する。 最後に、これらの知見に基づいて、最適化レンズを通して生物学的学習を観察し、ZOパラダイムが計算資源としての脳固有のノイズを活用することを議論する。 このフレームワークは、自然知性の理解を照らすだけでなく、ニューロモルフィックなハードウェアにも大きな影響を与え、本質的なハードウェアノイズを利用する高速でエネルギー効率の高いAIシステムを設計するのに役立ちます。

関連論文リスト

• Evolution imposes an inductive bias that alters and accelerates learning dynamics [49.1574468325115]
  進化的最適化がニューラルネットワークの学習力学に与える影響について検討する。 我々は,アルゴリズムの自然選択とオンライン学習を組み合わせて,ニューラルネットワークの進化的条件付け手法を開発した。 結果は、進化はニューラルネットワークをチューニングして迅速な学習を可能にする誘導バイアスを構成することを示唆している。
  論文  参考訳（メタデータ） (2025-05-15T18:50:57Z)
• Noise-based reward-modulated learning [1.0851051226732167]
  生物学的神経システムは、ノイズのシナプス伝達に依存するにもかかわらず、遅延報酬から効率的に学習する。 本研究では,これらの課題に対処するために,新しい雑音に基づく学習規則を導出する。 その結果,低消費電力適応システムにおける雑音駆動型脳誘発学習の可能性が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-03-31T11:35:23Z)
• Frankenstein Optimizer: Harnessing the Potential by Revisiting Optimization Tricks [2.932254642052481]
  様々な適応アルゴリズムの機構を組み合わせたフランケンシュタインを提案する。 コンピュータビジョン、自然言語処理、少数ショット学習、科学シミュレーションの実験は、フランケンシュタインが既存の適応アルゴリズムと勾配降下(SGD)を超えたことを示している。 本研究では,学習過程におけるカーネルアライメント解析とロスランドスケープの可視化を通じて,適応アルゴリズムの理解を深める。
  論文  参考訳（メタデータ） (2025-03-04T00:25:54Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Gradient descent in materia through homodyne gradient extraction [2.012950941269354]
  ホモダイン検出の原理に基づく簡易かつ効率的な勾配抽出法を示す。 最適化が必要なパラメータを摂動することで、高度に堅牢でスケーラブルな方法で勾配情報を得ることができる。 ホモジン勾配抽出は原則としてアマチュアで完全に実装することができ、自律的に学習する物質システムの開発を促進する。
  論文  参考訳（メタデータ） (2021-05-15T12:18:31Z)
• Predictive Coding Can Do Exact Backpropagation on Any Neural Network [40.51949948934705]
  計算グラフ上で直接定義することで(ILと)Z-ILを一般化する。 これは、任意のニューラルネットワーク上のパラメータを更新する方法でBPと同等であることが示されている最初の生物学的に実行可能なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-03-08T11:52:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。