論文の概要: Trainable Weight Averaging for Fast Convergence and Better Generalization

• arxiv url: http://arxiv.org/abs/2205.13104v1
• Date: Thu, 26 May 2022 01:54:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 14:25:34.718407
• Title: Trainable Weight Averaging for Fast Convergence and Better Generalization
• Title（参考訳）: 高速収束と一般化のためのトレーニング可能なウェイト平均化
• Authors: Tao Li, Zhehao Huang, Qinghua Tao, Yingwen Wu, Xiaolin Huang
• Abstract要約: 勾配降下(SGD)とその変種は、ディープニューラルネットワーク(DNN)を訓練するためのデファクト方法として一般的に考えられている 本稿では、平均化係数を最適化し、トレーニング可能なウェイト平均化(TWA)を実現することを提案する。 TWAは非常に効率的で、訓練の自由度が小さいため、優れた一般化能力を有する。
• 参考スコア（独自算出の注目度）: 16.889350251132146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic gradient descent (SGD) and its variants are commonly considered as the de-facto methods to train deep neural networks (DNNs). While recent improvements to SGD mainly focus on the descent algorithm itself, few works pay attention to utilizing the historical solutions -- as an iterative method, SGD has actually gone through substantial explorations before its final convergence. Recently, an interesting attempt is stochastic weight averaging (SWA), which significantly improves the generalization by simply averaging the solutions at the tail stage of training. In this paper, we propose to optimize the averaging coefficients, leading to our Trainable Weight Averaging (TWA), essentially a novel training method in a reduced subspace spanned by historical solutions. TWA is quite efficient and has good generalization capability as the degree of freedom for training is small. It largely reduces the estimation error from SWA, making it not only further improve the SWA solutions but also take full advantage of the solutions generated in the head of training where SWA fails. In the extensive numerical experiments, (i) TWA achieves consistent improvements over SWA with less sensitivity to learning rate; (ii) applying TWA in the head stage of training largely speeds up the convergence, resulting in over 40% time saving on CIFAR and 30% on ImageNet with improved generalization compared with regular training. The code is released at https://github.com/nblt/TWA.
• Abstract（参考訳）: 確率勾配降下(SGD)とその変種は、ディープニューラルネットワーク(DNN)を訓練するためのデファクト手法として一般的に考えられている。 SGDの最近の改良は、主に降下アルゴリズムそのものに焦点が当てられているが、過去のソリューションを反復的な方法として活用することに注意を払っている研究はほとんどない。 最近の興味深い試みは確率的ウェイト平均化(SWA)であり、これは訓練の尾の段階で解を単に平均化することで一般化を著しく改善する。 本稿では, 平均化係数の最適化を提案し, 歴史的解に代表される減算部分空間における新しいトレーニング手法であるTWA(Trainable Weight Averaging)を導いた。 TWAは非常に効率的で、訓練の自由度が小さいため、優れた一般化能力を有する。 これにより、SWAからの推定誤差を大幅に低減し、SWAソリューションをさらに改善するだけでなく、SWAが失敗するトレーニングヘッドで生成されるソリューションを最大限に活用することができる。 大規模な数値実験で。 (i)TWAは学習率に敏感なSWAに対して一貫した改善を実現する。 (II)トレーニングの先頭段階にTWAを適用すると、コンバージェンスが大幅にスピードアップし、CIFARが40%以上、ImageNetが30%以上削減され、通常のトレーニングに比べて一般化が向上する。 コードはhttps://github.com/nblt/twaでリリースされる。

関連論文リスト

• SeWA: Selective Weight Average via Probabilistic Masking [51.015724517293236]
  より良く、より高速な収束を達成するためには、ほんの数ポイントしか必要としないことを示す。 離散選択問題を連続的な部分集合最適化フレームワークに変換する。 両凸画像チェックポイントの値よりもシャープなSeWAの安定性境界を導出する。
  論文  参考訳（メタデータ） (2025-02-14T12:35:21Z)
• When, Where and Why to Average Weights? [36.106114687828395]
  トレーニング軌道に沿ってチェックポイントを平均化することは、機械学習モデルの一般化性能を改善するための強力なアプローチである。 平均化はトレーニングを著しく加速し、最小限の実装とメモリコストの価格でかなりの効率向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-02-10T18:40:48Z)
• Adaptive Data Exploitation in Deep Reinforcement Learning [50.53705050673944]
  深層強化学習(RL)における**データ効率**と**一般化**を強化する強力なフレームワークであるADEPTを紹介する。 具体的には、ADEPTはマルチアーム・バンディット(MAB)アルゴリズムを用いて、異なる学習段階にわたるサンプルデータの使用を適応的に管理する。 Procgen、MiniGrid、PyBulletなどのベンチマークでADEPTをテストする。
  論文  参考訳（メタデータ） (2025-01-22T04:01:17Z)
• AutoScale: Automatic Prediction of Compute-optimal Data Composition for Training LLMs [61.13296177652599]
  本稿では,異なる領域からのトレーニングデータの最適構成がスケール依存であることを示す。 我々は、潜在的に大規模なトレーニングデータスケールでデータ合成を最適化するための、新しい実用的なアプローチである*AutoScale*を紹介します。 GPT-2Large and BERT pre-training の評価は,トレーニング収束性および下流性能向上における *AutoScale* の有効性を示す。
  論文  参考訳（メタデータ） (2024-07-29T17:06:30Z)
• Lookaround Optimizer: $k$ steps around, 1 step average [36.207388029666625]
  重み平均(WA)は、深層ネットワークの簡易化と一般化の促進に効果があるため、活発な研究課題である。 しかし、既存の重量平均アプローチは、ポストホックな方法で1つの訓練軌道に沿って実行されることが多い。 そこで我々は,SGDに基づく単純かつ効果的な一般化であるLookaroundを提案する。
  論文  参考訳（メタデータ） (2023-06-13T10:55:20Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Stochastic Weight Averaging Revisited [5.68481425260348]
  SWAの性能は、SWAが収束する前に実行されるSGDプロセスの程度に大きく依存していることを示す。 収束が不十分なSGDプロセスに続き、SWAの実行回数が増えると、一般化の観点で連続的な漸進的なメリットがもたらされることが示される。
  論文  参考訳（メタデータ） (2022-01-03T08:29:01Z)
• Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
  本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。 具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
  論文  参考訳（メタデータ） (2020-08-21T19:35:54Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。