論文の概要: An experimental comparative study of backpropagation and alternatives for training binary neural networks for image classification

• arxiv url: http://arxiv.org/abs/2408.04460v1
• Date: Thu, 8 Aug 2024 13:39:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 15:28:24.618606
• Title: An experimental comparative study of backpropagation and alternatives for training binary neural networks for image classification
• Title（参考訳）: 画像分類のためのバイナリニューラルネットワークトレーニングのためのバックプロパゲーションと代替手段に関する実験的検討
• Authors: Ben Crulis, Barthelemy Serres, Cyril de Runz, Gilles Venturini,
• Abstract要約: バイナリニューラルネットワークは、ディープニューラルネットワークモデルのサイズを減らすことを約束する。 より強力なモデルをエッジデバイスにデプロイすることも可能だ。 しかしながら、バイナリニューラルネットワークは、バックプロパゲーションに基づく勾配降下法を用いて訓練することが依然として難しいことが証明されている。
• 参考スコア（独自算出の注目度）: 1.0749601922718608
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Current artificial neural networks are trained with parameters encoded as floating point numbers that occupy lots of memory space at inference time. Due to the increase in the size of deep learning models, it is becoming very difficult to consider training and using artificial neural networks on edge devices. Binary neural networks promise to reduce the size of deep neural network models, as well as to increase inference speed while decreasing energy consumption. Thus, they may allow the deployment of more powerful models on edge devices. However, binary neural networks are still proven to be difficult to train using the backpropagation-based gradient descent scheme. This paper extends the work of \cite{crulis2023alternatives}, which proposed adapting to binary neural networks two promising alternatives to backpropagation originally designed for continuous neural networks, and experimented with them on simple image classification datasets. This paper proposes new experiments on the ImageNette dataset, compares three different model architectures for image classification, and adds two additional alternatives to backpropagation.
• Abstract（参考訳）: 現在の人工ニューラルネットワークは、推論時に多くのメモリ空間を占める浮動小数点数として符号化されたパラメータで訓練されている。 ディープラーニングモデルのサイズが大きくなるため、エッジデバイス上でのトレーニングやニューラルネットワークの使用を考えることは極めて困難になっている。 バイナリニューラルネットワークは、ディープニューラルネットワークモデルのサイズを減らし、エネルギー消費を減らしながら推論速度を向上することを約束する。 したがって、より強力なモデルをエッジデバイスにデプロイすることが可能になる。 しかしながら、バイナリニューラルネットワークは、バックプロパゲーションに基づく勾配降下法を用いて訓練することが依然として難しいことが証明されている。 本稿では,主に連続ニューラルネットワーク用に設計されたバックプロパゲーションの2つの有望な代替手段として,バイナリニューラルネットワークへの適応を提案し,簡単な画像分類データセットを用いて実験を行った,‘cite{crulis2023alternatives’の研究を拡張した。 本稿では、画像分類のための3つの異なるモデルアーキテクチャを比較し、バックプロパゲーションに2つの選択肢を加える。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Taming Binarized Neural Networks and Mixed-Integer Programs [2.7624021966289596]
  バイナライズされたニューラルネットワークはテーム表現を許容することを示す。 これにより、Bolte et al. のフレームワークを暗黙の微分に使用できる。 このアプローチは、より広範な混合整数プログラムのクラスにも使用することができる。
  論文  参考訳（メタデータ） (2023-10-05T21:04:16Z)
• Tensor Decomposition for Model Reduction in Neural Networks: A Review [13.96938227911258]
  現代のニューラルネットワークはコンピュータビジョン(CV)と自然言語処理(NLP)の分野に革命をもたらした 複雑なCVタスクや画像分類、画像生成、機械翻訳といったNLPタスクの解決に広く用いられている。 本稿では,6つのテンソル分解法を概説し,モデルパラメータの圧縮能力について述べる。
  論文  参考訳（メタデータ） (2023-04-26T13:12:00Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Predify: Augmenting deep neural networks with brain-inspired predictive coding dynamics [0.5284812806199193]
  我々は神経科学の一般的な枠組みからインスピレーションを得た:「予測コーディング」 本稿では、この戦略をVGG16とEfficientNetB0という2つの人気ネットワークに実装することで、様々な汚職に対する堅牢性を向上させることを示す。
  論文  参考訳（メタデータ） (2021-06-04T22:48:13Z)
• Fast Adaptation with Linearized Neural Networks [35.43406281230279]
  ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。 この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。 この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
  論文  参考訳（メタデータ） (2021-03-02T03:23:03Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Compressive sensing with un-trained neural networks: Gradient descent finds the smoothest approximation [60.80172153614544]
  訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。 トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-07T15:57:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。