Fugu-MT 論文翻訳(概要): Maintaining Performance with Less Data

論文の概要: Maintaining Performance with Less Data

arxiv url: http://arxiv.org/abs/2208.02007v1
Date: Wed, 3 Aug 2022 12:22:18 GMT
ステータス: 処理完了
システム内更新日: 2022-08-04 13:15:27.463311
Title: Maintaining Performance with Less Data
Title（参考訳）: 少ないデータでパフォーマンスを維持する
Authors: Dominic Sanderson, Tatiana Kalgonova
Abstract要約: 本稿では,画像分類のためのニューラルネットワークのトレーニング手法を提案する。ランタイムを最大50%削減し, 炭素排出量を比例的に削減しながら, 精度を維持できることを示す。
参考スコア（独自算出の注目度）: 12.54745966896411
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a novel method for training a neural network for image classification to reduce input data dynamically, in order to reduce the costs of training a neural network model. As Deep Learning tasks become more popular, their computational complexity increases, leading to more intricate algorithms and models which have longer runtimes and require more input data. The result is a greater cost on time, hardware, and environmental resources. By using data reduction techniques, we reduce the amount of work performed, and therefore the environmental impact of AI techniques, and with dynamic data reduction we show that accuracy may be maintained while reducing runtime by up to 50%, and reducing carbon emission proportionally.
Abstract（参考訳）: 本稿では,ニューラルネットワークモデルの学習コストを削減するために,画像分類のためのニューラルネットワークのトレーニング手法を提案する。ディープラーニングタスクが普及するにつれて、その計算複雑性が増大し、より複雑なアルゴリズムや、より長いランタイムを持ち、より多くの入力データを必要とするモデルが生まれる。その結果、時間、ハードウェア、環境資源のコストが増大する。データ削減技術を用いることで、作業量を削減し、AI技術の環境への影響を低減し、動的データ削減により、ランタイムを最大50%削減し、炭素排出量を比例的に削減しながら精度を維持することができることを示す。

関連論文リスト

An In-Depth Analysis of Data Reduction Methods for Sustainable Deep Learning [0.15833270109954137]
トレーニングデータセットのサイズを減らすために、最大8つの異なる方法を提示します。また、それらを適用するPythonパッケージも開発しています。これらのデータ削減手法がデータセットの表現性に与える影響を実験的に比較した。
論文参考訳（メタデータ） (2024-03-22T12:06:40Z)
Fast-NTK: Parameter-Efficient Unlearning for Large-Scale Models [17.34908967455907]
マシン・アンラーニング'は、スクラッチから再トレーニングすることなく、不要なデータの選択的削除を提案する。 Fast-NTKはNTKベースの新しいアンラーニングアルゴリズムであり、計算複雑性を大幅に削減する。
論文参考訳（メタデータ） (2023-12-22T18:55:45Z)
Gradual Optimization Learning for Conformational Energy Minimization [69.36925478047682]
ニューラルネットワークによるエネルギー最小化のためのGradual Optimization Learning Framework(GOLF)は、必要な追加データを大幅に削減する。 GOLFでトレーニングしたニューラルネットワークは,種々の薬物様分子のベンチマークにおいて,オラクルと同等に動作することを示す。
論文参考訳（メタデータ） (2023-11-05T11:48:08Z)
Actively Learning Costly Reward Functions for Reinforcement Learning [56.34005280792013]
複雑な実世界の環境でエージェントを訓練することは、桁違いに高速であることを示す。強化学習の手法を新しい領域に適用することにより、興味深く非自明な解を見つけることができることを示す。
論文参考訳（メタデータ） (2022-11-23T19:17:20Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
Dimensionality Reduced Training by Pruning and Freezing Parts of a Deep Neural Network, a Survey [69.3939291118954]
最先端のディープラーニングモデルには、何十億にも達するパラメータカウントがある。そのようなモデルのトレーニング、保存、転送は、エネルギーと時間を要するため、コストがかかる。モデル圧縮は、ストレージと転送コストを低減し、フォワードおよび/または後方パスでの計算数を減少させることで、トレーニングをより効率的にすることができる。この研究は、トレーニング全体を通してディープラーニングモデルでトレーニングされた重量を減らす方法に関する調査である。
論文参考訳（メタデータ） (2022-05-17T05:37:08Z)
Transformer Networks for Data Augmentation of Human Physical Activity Recognition [61.303828551910634]
Recurrent Generative Adrial Networks (RGAN)のような最先端技術モデルは、リアルな合成データを生成するために使用される。本稿では,データにグローバルな注意を払っているトランスフォーマーベースの生成敵ネットワークを,PAMAP2とリアルワールドヒューマンアクティビティ認識データセットでRGANと比較する。
論文参考訳（メタデータ） (2021-09-02T16:47:29Z)
Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
論文参考訳（メタデータ） (2021-06-26T00:32:17Z)
Data optimization for large batch distributed training of deep neural networks [0.19336815376402716]
ディープニューラルネットワークの分散トレーニングの現在のプラクティスは、大規模運用における通信ボトルネックの課題に直面している。本研究では,局所的ミニマの少ない損失環境を暗黙的に平滑化するために,機械学習を用いたデータ最適化手法を提案する。当社のアプローチでは,機能学習において重要でないデータポイントをフィルタリングすることで,より大きなバッチサイズでのモデルのトレーニングを高速化し,精度の向上を実現しています。
論文参考訳（メタデータ） (2020-12-16T21:22:02Z)
Dynamic Hard Pruning of Neural Networks at the Edge of the Internet [11.605253906375424]
動的ハードプルーニング(DynHP)技術は、トレーニング中にネットワークを段階的にプルーニングする。 DynHPは、最終ニューラルネットワークの調整可能なサイズ削減と、トレーニング中のNNメモリ占有率の削減を可能にする。凍結メモリは、ハードプルーニング戦略による精度劣化を相殺するために、エンファンダイナミックバッチサイズアプローチによって再利用される。
論文参考訳（メタデータ） (2020-11-17T10:23:28Z)
Efficient Training of Deep Convolutional Neural Networks by Augmentation in Embedding Space [24.847651341371684]
データが少ないアプリケーションでは、ディープラーニングモデルの一般化を改善するために、転送学習とデータ拡張技術が一般的に使用される。生入力空間におけるデータ拡張を伴う転送モデルを微調整すると、拡張入力毎に全ネットワークを実行するのに高い計算コストがかかる。本稿では, 生の入力空間における拡張を, 埋め込み空間において純粋に作用する近似的に置き換える手法を提案する。
論文参考訳（メタデータ） (2020-02-12T03:26:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。