Fugu-MT 論文翻訳(概要): Neural Velocity for hyperparameter tuning

論文の概要: Neural Velocity for hyperparameter tuning

arxiv url: http://arxiv.org/abs/2507.05309v1
Date: Mon, 07 Jul 2025 09:32:25 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-09 16:34:37.258485
Title: Neural Velocity for hyperparameter tuning
Title（参考訳）: ハイパーパラメータチューニングのためのニューラル速度
Authors: Gianluca Dalmasso, Andrea Bragagnolo, Enzo Tartaglione, Attilio Fiandrotti, Marco Grangetto,
Abstract要約: NeVeは、学習率を調整し、停止基準を定義する、ダイナミックなトレーニングアプローチである。神経速度は各ニューロンの伝達関数の変化率を測定する。
参考スコア（独自算出の注目度）: 14.916521676239894
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Hyperparameter tuning, such as learning rate decay and defining a stopping criterion, often relies on monitoring the validation loss. This paper presents NeVe, a dynamic training approach that adjusts the learning rate and defines the stop criterion based on the novel notion of "neural velocity". The neural velocity measures the rate of change of each neuron's transfer function and is an indicator of model convergence: sampling neural velocity can be performed even by forwarding noise in the network, reducing the need for a held-out dataset. Our findings show the potential of neural velocity as a key metric for optimizing neural network training efficiently
Abstract（参考訳）: 学習速度の減衰や停止基準の定義といったハイパーパラメータチューニングは、検証損失の監視に依存することが多い。本稿では,学習速度を調節し,新しい「神経速度」の概念に基づく停止基準を定義するダイナミックトレーニング手法であるNeVeを提案する。神経速度は、各ニューロンの伝達関数の変化率を測定し、モデル収束の指標である。我々の研究結果は、ニューラルネットワークトレーニングを効率的に最適化するための重要な指標として、神経速度の可能性を示している。

関連論文リスト

Tuning the Frequencies: Robust Training for Sinusoidal Neural Networks [1.5124439914522694]
正弦波ネットワークの容量特性を説明する理論的枠組みを導入する。入力周波数の整数結合として表される多数の新しい周波数を,その層組成によってどのように生成するかを示す。提案手法はTUNERと呼ばれ, 正弦波INRトレーニングの安定性と収束性を大幅に改善し, より詳細な再建を行った。
論文参考訳（メタデータ） (2024-07-30T18:24:46Z)
Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文参考訳（メタデータ） (2023-03-30T02:40:28Z)
Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文参考訳（メタデータ） (2022-09-26T17:59:58Z)
Neural Clamping: Joint Input Perturbation and Temperature Scaling for Neural Network Calibration [62.4971588282174]
我々はニューラルクランプ法と呼ばれる新しい後処理キャリブレーション法を提案する。実験の結果,Neural Clampingは最先端の処理後のキャリブレーション法よりも優れていた。
論文参考訳（メタデータ） (2022-09-23T14:18:39Z)
Axonal Delay As a Short-Term Memory for Feed Forward Deep Spiking Neural Networks [3.985532502580783]
近年の研究では、学習過程において神経細胞の時間遅延が重要な役割を担っていることが判明している。スパイクの正確なタイミングを設定することは、SNNにおける時間情報の伝達過程を理解し改善するための有望な方向である。本稿では,教師付き学習に時間遅延を統合することの有効性を検証するとともに,短期記憶による軸索遅延を変調するモジュールを提案する。
論文参考訳（メタデータ） (2022-04-20T16:56:42Z)
Deep Impulse Responses: Estimating and Parameterizing Filters with Deep Networks [76.830358429947]
高雑音および地中設定におけるインパルス応答推定は難しい問題である。本稿では,ニューラル表現学習の最近の進歩に基づいて,インパルス応答のパラメータ化と推定を行う新しいフレームワークを提案する。
論文参考訳（メタデータ） (2022-02-07T18:57:23Z)
Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。学習過程において隠れた層内のニューロンの多様性を探索する。ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文参考訳（メタデータ） (2021-09-20T15:12:16Z)
Performance Bounds for Neural Network Estimators: Applications in Fault Detection [2.388501293246858]
ニューラルネットワークの堅牢性を定量化し,モデルに基づく異常検知器の構築とチューニングを行った。チューニングでは,通常動作で想定される誤報発生率の上限を具体的に提示する。
論文参考訳（メタデータ） (2021-03-22T19:23:08Z)
Factorized Neural Processes for Neural Processes: $K$-Shot Prediction of Neural Responses [9.792408261365043]
我々は,小さな刺激応答対からニューロンのチューニング関数を推定するファクトリズ・ニューラル・プロセスを開発した。本稿では,ニューラルプロセスからの予測および再構成された受容場が,試行数の増加とともに真理に近づいたことをシミュレートした応答を示す。この新しいディープラーニングシステム識別フレームワークは、ニューラルネットワークモデリングを神経科学実験にリアルタイムに組み込むのに役立つと信じている。
論文参考訳（メタデータ） (2020-10-22T15:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。