論文の概要: Connectome-Guided Automatic Learning Rates for Deep Networks

• arxiv url: http://arxiv.org/abs/2510.23781v1
• Date: Mon, 27 Oct 2025 19:11:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:36.425497
• Title: Connectome-Guided Automatic Learning Rates for Deep Networks
• Title（参考訳）: ディープネットワークのためのコネクトーム誘導型自動学習率
• Authors: Peilin He, Tananun Songdechakraiwut,
• Abstract要約: 本研究では,このコネクトーム再構成によって学習率をオンラインで調整するコネクトーム誘導自動学習率(CG-ALR)を提案する。 このコネクトロミクスにインスパイアされたメカニズムは、ネットワークの動的機能組織にステップサイズを適応させ、不安定な再構成中に学習を遅くし、安定した組織が出現するとそれを加速する。 脳コネクトームにインスパイアされた原理は、ディープラーニングにおける適応学習率の設計に役立ち、従来のSGDベースのスケジュールや最近の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 3.2228025627337864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The human brain is highly adaptive: its functional connectivity reconfigures on multiple timescales during cognition and learning, enabling flexible information processing. By contrast, artificial neural networks typically rely on manually-tuned learning-rate schedules or generic adaptive optimizers whose hyperparameters remain largely agnostic to a model's internal dynamics. In this paper, we propose Connectome-Guided Automatic Learning Rate (CG-ALR) that dynamically constructs a functional connectome of the neural network from neuron co-activations at each training iteration and adjusts learning rates online as this connectome reconfigures. This connectomics-inspired mechanism adapts step sizes to the network's dynamic functional organization, slowing learning during unstable reconfiguration and accelerating it when stable organization emerges. Our results demonstrate that principles inspired by brain connectomes can inform the design of adaptive learning rates in deep learning, generally outperforming traditional SGD-based schedules and recent methods.
• Abstract（参考訳）: 人間の脳は高度に適応しており、その機能的接続は認知と学習の間に複数の時間スケールで再構成され、柔軟な情報処理を可能にする。 対照的に、ニューラルネットワークは通常、手動で調整された学習率スケジュールや、ハイパーパラメータがモデルの内部ダイナミクスに大きく依存しないような汎用適応オプティマイザに依存している。 本稿では,ニューラルネットワークの機能的コネクトームを,各トレーニングイテレーションにおけるニューロンの共活性化から動的に構築し,このコネクトーム再構成に従って学習率をオンラインで調整する,コネクトーム誘導自動学習速度(CG-ALR)を提案する。 このコネクトロミクスにインスパイアされたメカニズムは、ネットワークの動的機能組織にステップサイズを適応させ、不安定な再構成中に学習を遅くし、安定した組織が出現するとそれを加速する。 脳コネクトームにインスパイアされた原理は、ディープラーニングにおける適応学習率の設計に役立ち、従来のSGDベースのスケジュールや最近の手法よりも優れていることを示す。

関連論文リスト

• Improving Neural Network Training using Dynamic Learning Rate Schedule for PINNs and Image Classification [0.0]
  本稿では,学習過程における損失値に基づいて学習率を適応する動的学習率スケジューラ(DLRS)アルゴリズムを提案する。 物理インフォームドニューラルネットワーク(PINN)と画像分類に関する問題に対して,多層パーセプトロンと畳み込みニューラルネットワークを用いた実験を行った。
  論文  参考訳（メタデータ） (2025-07-29T12:31:21Z)
• Rhythmic sharing: A bio-inspired paradigm for zero-shot adaptive learning in neural networks [0.0]
  脳は新しい状況に素早く適応し、限られたデータから学習する。 リンク強度の発振を利用した学習パラダイムを開発し,これらの発振の協調と学習の関連性について検討した。 リンクの発振は、調整を迅速に変更し、ネットワークが監督なしに微妙なコンテキスト変化を感知し、適応できるようにする。
  論文  参考訳（メタデータ） (2025-02-12T18:58:34Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
  Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。 FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。 私たちのコードは公開されます。
  論文  参考訳（メタデータ） (2022-02-23T18:23:07Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
  ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。 これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。 以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-22T17:33:51Z)
• Adaptive Reinforcement Learning through Evolving Self-Modifying Neural Networks [0.0]
  強化学習(RL)の現在の手法は、特定の時間間隔で反射した後にのみ新しい相互作用に適応する。 最近の研究は、バックプロパゲーションを用いて訓練された単純なRLタスクの性能を向上させるために、ニューラルネットワークに神経修飾塑性を付与することでこの問題に対処している。 ここでは,四足歩行におけるメタラーニングの課題について検討する。 その結果、自己修飾プラスチックネットワークを用いて進化したエージェントは、複雑なメタ学習タスクに適応し、グラデーションを使って更新された同じネットワークよりも優れていることが示される。
  論文  参考訳（メタデータ） (2020-05-22T02:24:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。