Fugu-MT 論文翻訳(概要): Training binary neural networks without floating point precision

論文の概要: Training binary neural networks without floating point precision

arxiv url: http://arxiv.org/abs/2310.19815v1
Date: Thu, 19 Oct 2023 13:48:21 GMT
ステータス: 処理完了
システム内更新日: 2023-11-05 13:27:22.174799
Title: Training binary neural networks without floating point precision
Title（参考訳）: 浮動小数点精度のないバイナリニューラルネットワークのトレーニング
Authors: Federico Fontana
Abstract要約: この研究の主な目標は、バイナリニューラルネットワークのトレーニング効率を改善することだ。トレーニングに必要な時間とプロセスに必要なメモリは、効率的なトレーニングに寄与する2つの要因である。
参考スコア（独自算出の注目度）: 1.0878040851638
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The main goal of this work is to improve the efficiency of training binary neural networks, which are low latency and low energy networks. The main contribution of this work is the proposal of two solutions comprised of topology changes and strategy training that allow the network to achieve near the state-of-the-art performance and efficient training. The time required for training and the memory required in the process are two factors that contribute to efficient training.
Abstract（参考訳）: この研究の主な目標は、低レイテンシで低エネルギーのネットワークであるバイナリニューラルネットワークのトレーニング効率を改善することである。この研究の主な貢献は、トポロジの変化と戦略トレーニングからなる2つのソリューションの提案である。トレーニングに必要な時間とプロセスに必要なメモリは、効率的なトレーニングに寄与する2つの要因である。

関連論文リスト

Deep Fusion: Efficient Network Training via Pre-trained Initializations [3.9146761527401424]
我々は、より小さなネットワークの初期化を事前訓練したネットワークトレーニングの効率的なアプローチであるDeep Fusionを提案する。我々の実験は、Deep Fusionが訓練プロセスを加速するだけでなく、計算要求を減少させる実用的で効果的なアプローチであることを示す。我々は,Deep Fusionの最適利用を導く理論的枠組みを検証し,トレーニング時間と資源消費の両方を著しく削減することを示した。
論文参考訳（メタデータ） (2023-06-20T21:30:54Z)
Exploring Low Rank Training of Deep Neural Networks [49.18122605463354]
低ランクのディープニューラルネットワークのトレーニングは、メモリ消費とトレーニング時間の両方の観点から、非リファクタリングトレーニングよりも効率がよい。我々は、実際にうまく機能する技術を分析し、GPT2のようなモデルに対する広範囲な改善を通じて、この分野における共通の信念を偽示する証拠を提供する。
論文参考訳（メタデータ） (2022-09-27T17:43:45Z)
A Multi-channel Training Method Boost the Performance [0.0]
深層畳み込みニューラルネットワークは大きな革命を遂げ、分類やセグメンテーションといったコンピュータビジョンタスクにおいて優れたパフォーマンスを示している。近年、携帯電話などの組み込みシステムに限られたメモリを適応させるため、ネットワークの規模を拡大する努力が盛んに行われている。本稿では,ターゲットネットワークの性能とロバスト性を向上するマルチチャネルトレーニング手法を提案する。
論文参考訳（メタデータ） (2021-12-27T15:18:16Z)
FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
論文参考訳（メタデータ） (2021-06-28T10:48:20Z)
Dynamic Sparse Training for Deep Reinforcement Learning [36.66889208433228]
我々は,ニューラルネットワークをスクラッチから切り離した深層強化学習エージェントを動的に訓練する試みを初めて提案する。私たちのアプローチは、既存の深層強化学習アルゴリズムに簡単に統合できます。我々は,オープンAI体育連続制御タスクに対するアプローチを評価した。
論文参考訳（メタデータ） (2021-06-08T09:57:20Z)
Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文参考訳（メタデータ） (2021-02-20T23:26:58Z)
Truly Sparse Neural Networks at Scale [2.2860412844991655]
私たちは、表現力の観点から訓練された史上最大のニューラルネットワークをトレーニングします。われわれのアプローチは、環境に優しい人工知能時代の道を歩みながら、最先端の性能を持っている。
論文参考訳（メタデータ） (2021-02-02T20:06:47Z)
Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks [78.47459801017959]
Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
論文参考訳（メタデータ） (2021-01-31T22:48:50Z)
Adaptive Serverless Learning [114.36410688552579]
本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
論文参考訳（メタデータ） (2020-08-24T13:23:02Z)
Energy-efficient and Robust Cumulative Training with Net2Net Transformation [2.4283778735260686]
本研究では,精度の低下を招くことなく,計算効率のトレーニングを実現する累積学習戦略を提案する。まず、元のデータセットの小さなサブセット上で小さなネットワークをトレーニングし、その後徐々にネットワークを拡張します。実験により、スクラッチからのトレーニングと比較すると、累積的なトレーニングは計算複雑性を2倍に減らすことが示された。
論文参考訳（メタデータ） (2020-03-02T21:44:47Z)
Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
論文参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。