論文の概要: Threshold-Based Early Stopping of Accumulations in Neural Networks with Binary Activation
- arxiv url: http://arxiv.org/abs/2608.06177v1
- Date: Thu, 06 Aug 2026 15:39:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.945829
- Title: Threshold-Based Early Stopping of Accumulations in Neural Networks with Binary Activation
- Title（参考訳）: 二元活性化ニューラルネットワークにおける閾値に基づく蓄積の早期停止
- Abstract要約: 二項アクティベーションでは、ドット生成物は符号制御された加算または減算となるが、操作数は変化しない。
本稿は、この観察を訓練後の早期停止機構に変換する。
トレーニングデータセット上で実行中の累積の挙動を特徴付け、この情報を用いて最終符号をできるだけ早く予測する。
- 参考スコア（独自算出の注目度）: 1.1470070927586018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Binary neural networks are very attractive for constrained deployment, enabling small footprint and low-power inference. For binary activations, the dot products become sign-controlled additions or subtractions, but the number of operations is unchanged. Indeed, every neuron or output channel still accumulates all of its input, even though only the sign will be retained, which is often wasteful. As the accumulation progresses, the running partial sum frequently drifts so far from zero that its final sign becomes highly predictable long before the last term is reached; every contribution evaluated after that point changes the value of the sum but not the final output activation. This paper turns this observation into a post-training early-stopping mechanism. We characterize the behavior of the running accumulations on the training dataset and use this information to predict the final sign as soon as possible. No model parameter is retrained. We count the number of operations under an idealized ordering of weights. On VGG11 applied to the CIFAR-10 dataset, the method removes $86.6\%$ of the accumulation terms of the deepest convolution for a $0.37$-point accuracy drop, and $25\%$ of the full-network arithmetic when used on the three deepest convolutions simultaneously, for a $1.36$-point drop.
- Abstract（参考訳）: バイナリニューラルネットワークは、小さなフットプリントと低消費電力推論を可能にする、制約付きデプロイメントにとって非常に魅力的なものだ。
二項アクティベーションの場合、ドット積は符号制御された加算または減算となるが、演算数は変化しない。
実際、全てのニューロンや出力チャネルは、符号のみが保持されるにもかかわらず、入力の全てを蓄積するが、これはしばしば無駄である。
累積が進行するにつれて、実行中の部分和はゼロから遠ざかっていき、最終項に達するよりもずっと早く最終符号は高い予測が可能となり、その時点以降に評価されたすべての寄与は和の値を変更するが、最終的な出力アクティベーションは変更されない。
本稿は、この観察を訓練後の早期停止機構に変換する。
トレーニングデータセット上で実行中の累積の挙動を特徴付け、この情報を用いて最終符号をできるだけ早く予測する。
モデルパラメータは再トレーニングされない。
重みの理想的な順序の下での演算数を数える。
CIFAR-10データセットに適用されたVGG11では、最深部畳み込みの累積項の86.6\%を0.37$ポイントの精度低下で取り除き、最深部畳み込みを同時に使用する場合のフルネットワーク演算の25\%を1.36$ドロップで取り除いた。
関連論文リスト
- Bug or Feature$^2$: Weight Drift, Activation Sparsity and Spikes [53.726365933748134]
標準損失と正に偏りのある活性化関数の相互作用によって引き起こされる負の重みのドリフトを解析する。
79の構成にまたがるスパシティ・精度のトレードオフを特徴付けるとともに、$sim$70%のアクティベーション・スパシティよりも高い精度の崖を識別する。
論文 参考訳（メタデータ） (2026-05-17T21:29:20Z) - Deep Neural Network Initialization with Sparsity Inducing Activations [5.437298646956505]
広幅ガウス過程の限界を用いて、隠れ出力の空間性を引き起こす非線形活性化の挙動を解析する。
未報告のトレーニング不安定性は、隠蔽層スパリフィケーションの最も自然な候補の2つとして証明されている。
この不安定性は、関連するガウス過程の分散写像の形状によって規定されたレベルにおいて、非線形活性化度をクリップすることで克服されることを示す。
論文 参考訳（メタデータ） (2024-02-25T20:11:40Z) - Wide neural networks: From non-gaussian random fields at initialization
to the NTK geometry of training [0.0]
パラメータが$n=1014$を超える人工ニューラルネットワークの応用の最近の進歩は、そのようなネットワークの大きな$n$の振る舞いを研究することが極めて重要である。
広義のニューラルネットワークを研究するほとんどの研究は、そのようなネットワークの無限幅$nから+infty$制限に焦点を当てている。
この研究では、それらの振る舞いを大まかに研究するが、有限$n$である。
論文 参考訳（メタデータ） (2023-04-06T21:34:13Z) - A Sublinear Adversarial Training Algorithm [13.42699247306472]
本稿では,ReLUの活性化をシフトした2層ニューラルネットワーク上での対向的トレーニング手順の収束保証を解析する。
本研究では,半空間レポートデータ構造を適用して,時間コスト$o(m n d)$の逆トレーニングアルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-08-10T15:31:40Z) - Bounding the Width of Neural Networks via Coupled Initialization -- A
Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。
また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文 参考訳（メタデータ） (2022-06-26T06:51:31Z) - Neural networks with superexpressive activations and integer weights [91.3755431537592]
アクティベーション関数の例 $sigma$ は、アクティベーションを持つネットワーク $sigma, lfloorcdotrfloor$, integer weights と固定アーキテクチャが与えられる。
より古い連続関数の $varepsilon$-approximation に必要な整数ウェイトの範囲が導出される。
論文 参考訳（メタデータ） (2021-05-20T17:29:08Z) - SiMaN: Sign-to-Magnitude Network Binarization [165.5630656849309]
重みバイナライゼーションは、高倍率重みを+1s、0sに符号化することで分析ソリューションを提供する。
二元化ネットワークの学習重みは、エントロピーを許さないラプラシアン分布に概ね従うことが証明される。
CIFAR-10 と ImageNet を用いて,シマナライゼーション (SiMaN) と呼ばれる手法の評価を行った。
論文 参考訳（メタデータ） (2021-02-16T07:03:51Z) - Plateau Phenomenon in Gradient Descent Training of ReLU networks:
Explanation, Quantification and Avoidance [0.0]
一般に、ニューラルネットワークは勾配型最適化法によって訓練される。
トレーニング開始時に損失関数は急速に低下するが,比較的少数のステップの後に著しく低下する。
本研究の目的は,高原現象の根本原因の同定と定量化である。
論文 参考訳（メタデータ） (2020-07-14T17:33:26Z) - Fractional moment-preserving initialization schemes for training deep
neural networks [1.14219428942199]
ディープニューラルネットワーク(DNN)に対する従来のアプローチは、プレアクティベーションの分散を保存するために、ランダムにネットワーク重みをサンプリングすることである。
本稿では,重み付き分布をモデル化することで,重み付けや事前活性化をモデル化できることを示す。
数値実験により,本手法が訓練および試験性能を向上させることを示す。
論文 参考訳（メタデータ） (2020-05-25T01:10:01Z) - Neural Networks and Value at Risk [59.85784504799224]
リスクしきい値推定における資産価値のモンテカルロシミュレーションを行う。
株式市場と長期債を試験資産として利用し、ニューラルネットワークについて検討する。
はるかに少ないデータでフィードされたネットワークは、大幅にパフォーマンスが悪くなっています。
論文 参考訳（メタデータ） (2020-05-04T17:41:59Z) - Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。
我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。
すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
論文 参考訳（メタデータ） (2020-03-25T17:54:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。