論文の概要: Trainable Weight Averaging: A General Approach for Subspace Training

• arxiv url: http://arxiv.org/abs/2205.13104v2
• Date: Thu, 6 Jul 2023 12:32:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-07-07 18:50:34.278597
• Title: Trainable Weight Averaging: A General Approach for Subspace Training
• Title（参考訳）: 訓練可能な重量平均化:サブスペーストレーニングのための一般的なアプローチ
• Authors: Tao Li, Zhehao Huang, Qinghua Tao, Yingwen Wu, Xiaolin Huang
• Abstract要約: 本稿では,従来の取り組みを一般化したサブスペーストレーニングの一般的なアプローチとして,TWA(Traable Weight Averaging)を提案する。 TWAは次元の点で効率的であり、使用も容易であり、サブスペーストレーニングのための有望な新しい方法である。 我々は、TWAを効率的なニューラルネットワークトレーニングに適用し、細調整されたパフォーマンスタスクを改善し、我々のアプローチの優れた効率と有効性を示す。
• 参考スコア（独自算出の注目度）: 16.889350251132146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training deep neural networks (DNNs) in low-dimensional subspaces is a promising direction for achieving efficient training and better generalization performance. Previous works extract the subspaces by using random projection or performing dimensionality reduction method on the training trajectory, but these methods can be inefficient or unstable in terms of dimensionality and numerical operations. In this paper, we connect subspace training to weight averaging and propose Trainable Weight Averaging (TWA), a general approach for subspace training that generalizes the previous efforts. TWA is efficient in terms of dimensionality and also easy to use, making it a promising new method for subspace training. We further design an efficient scheme for subspace training to cope with large-scale problems, which allows parallel training across multiple nodes and evenly distributing the memory and computation burden to each node. We apply TWA to efficient neural network training and improving fine-tuning performance tasks to demonstrate the great efficiency and effectiveness of our approach. We conduct extensive experiments that cover various benchmark computer vision and neural language processing tasks with various architectures. The code of implementation is available at https://github.com/nblt/TWA.
• Abstract（参考訳）: 低次元部分空間におけるディープニューラルネットワーク(DNN)のトレーニングは、効率的なトレーニングとより良い一般化性能を達成する上で有望な方向である。 従来の研究は、ランダムな投影やトレーニング軌道上の次元削減手法を用いて部分空間を抽出するが、これらの手法は次元性や数値演算の点で非効率または不安定である。 本稿では,重み付けにサブスペーストレーニングを結びつけるとともに,従来の取り組みを一般化したサブスペーストレーニングの一般的なアプローチであるTWAを提案する。 TWAは次元の点で効率的であり、使用も容易であり、サブスペーストレーニングのための有望な新しい方法である。 さらに,複数のノードにわたる並列トレーニングを可能とし,各ノードにメモリと計算負荷を均等に分散させる,大規模な問題に対処する部分空間トレーニングの効率的なスキームを設計する。 我々は、TWAを効率的なニューラルネットワークトレーニングに適用し、細調整されたパフォーマンスタスクを改善し、我々のアプローチの優れた効率と有効性を示す。 我々は、様々なアーキテクチャを用いて、様々なベンチマークコンピュータビジョンとニューラル言語処理タスクをカバーする広範な実験を行う。 実装コードはhttps://github.com/nblt/twa。

関連論文リスト

• SeWA: Selective Weight Average via Probabilistic Masking [51.015724517293236]
  より良く、より高速な収束を達成するためには、ほんの数ポイントしか必要としないことを示す。 離散選択問題を連続的な部分集合最適化フレームワークに変換する。 両凸画像チェックポイントの値よりもシャープなSeWAの安定性境界を導出する。
  論文  参考訳（メタデータ） (2025-02-14T12:35:21Z)
• When, Where and Why to Average Weights? [36.106114687828395]
  トレーニング軌道に沿ってチェックポイントを平均化することは、機械学習モデルの一般化性能を改善するための強力なアプローチである。 平均化はトレーニングを著しく加速し、最小限の実装とメモリコストの価格でかなりの効率向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-02-10T18:40:48Z)
• Adaptive Data Exploitation in Deep Reinforcement Learning [50.53705050673944]
  深層強化学習(RL)における**データ効率**と**一般化**を強化する強力なフレームワークであるADEPTを紹介する。 具体的には、ADEPTはマルチアーム・バンディット(MAB)アルゴリズムを用いて、異なる学習段階にわたるサンプルデータの使用を適応的に管理する。 Procgen、MiniGrid、PyBulletなどのベンチマークでADEPTをテストする。
  論文  参考訳（メタデータ） (2025-01-22T04:01:17Z)
• AutoScale: Scale-Aware Data Mixing for Pre-Training LLMs [61.13296177652599]
  より小さなスケールで良好に機能するデータ混合物は、大規模なスケールではその利点を保たない可能性があることを示す。 2段階のスケール対応データ合成フレームワークであるAutoScaleを提案する。
  論文  参考訳（メタデータ） (2024-07-29T17:06:30Z)
• Training Artificial Neural Networks by Coordinate Search Algorithm [0.20971479389679332]
  本稿では、ニューラルネットワークのトレーニングのための勾配自由座標探索(CS)アルゴリズムの効率的なバージョンを提案する。 提案アルゴリズムは、微分不可能なアクティベーション関数で使用することができ、多目的/マルチロス問題に適合する。 ANNの重みに対する最適値を求めることは、大規模な最適化問題である。
  論文  参考訳（メタデータ） (2024-02-20T01:47:25Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Lookaround Optimizer: $k$ steps around, 1 step average [36.207388029666625]
  重み平均(WA)は、深層ネットワークの簡易化と一般化の促進に効果があるため、活発な研究課題である。 しかし、既存の重量平均アプローチは、ポストホックな方法で1つの訓練軌道に沿って実行されることが多い。 そこで我々は,SGDに基づく単純かつ効果的な一般化であるLookaroundを提案する。
  論文  参考訳（メタデータ） (2023-06-13T10:55:20Z)
• Diffused Redundancy in Pre-trained Representations [98.55546694886819]
  事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。 与えられた層における学習された表現は拡散冗長性を示す。 我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
  論文  参考訳（メタデータ） (2023-05-31T21:00:50Z)
• Efficient Implementation of a Multi-Layer Gradient-Free Online-Trainable Spiking Neural Network on FPGA [0.31498833540989407]
  ODESAは、グラデーションを使わずに、エンド・ツー・エンドの多層オンラインローカル教師ありトレーニングを行う最初のネットワークである。 本研究は,ネットワークアーキテクチャと重みとしきい値のオンライントレーニングを,大規模ハードウェア上で効率的に実施可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-31T00:34:15Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Stochastic Weight Averaging Revisited [5.68481425260348]
  SWAの性能は、SWAが収束する前に実行されるSGDプロセスの程度に大きく依存していることを示す。 収束が不十分なSGDプロセスに続き、SWAの実行回数が増えると、一般化の観点で連続的な漸進的なメリットがもたらされることが示される。
  論文  参考訳（メタデータ） (2022-01-03T08:29:01Z)
• Efficient and Robust Mixed-Integer Optimization Methods for Training Binarized Deep Neural Networks [0.07614628596146598]
  二元活性化関数と連続または整数重み付きディープニューラルネットワーク(BDNN)について検討する。 BDNNは、古典的な混合整数計画解法により、大域的最適性に解けるような、有界な重み付き混合整数線形プログラムとして再構成可能であることを示す。 トレーニング中にBDNNの堅牢性を強制するロバストモデルが初めて提示される。
  論文  参考訳（メタデータ） (2021-10-21T18:02:58Z)
• Exploring the Common Principal Subspace of Deep Features in Neural Networks [50.37178960258464]
  我々は、同じデータセットでトレーニングされた異なるディープニューラルネットワーク(DNN)が、潜在空間において共通の主部分空間を共有することを発見した。 具体的には、DNNで学んだ深い機能の主部分空間を表すために、$mathcalP$-vectorを新たに設計する。 異なるアルゴリズム/アーキテクチャで訓練された2つのDNNの比較では、小さな角度(コサインが1.0ドルに近い)が見つかっている。
  論文  参考訳（メタデータ） (2021-10-06T15:48:32Z)
• Embedded Knowledge Distillation in Depth-level Dynamic Neural Network [8.207403859762044]
  類似アーキテクチャの異なる深層サブネットを統合した、エレガントな深層ダイナミックニューラルネットワーク(DDNN)を提案する。 本稿では、DDNNが教師(フル)ネットから複数のサブネットへの意味的知識伝達を実装するためのEKD(Embedded-Knowledge-Distillation)トレーニング機構を設計する。 CIFAR-10、CIFAR-100、ImageNetデータセットの実験では、EKDトレーニングを備えたDDNNのサブネットは、深さレベルの切断または個別トレーニングよりも優れたパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-03-01T06:35:31Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
  本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。 具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
  論文  参考訳（メタデータ） (2020-08-21T19:35:54Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。