論文の概要: GCWSNet: Generalized Consistent Weighted Sampling for Scalable and Accurate Training of Neural Networks

• arxiv url: http://arxiv.org/abs/2201.02283v1
• Date: Fri, 7 Jan 2022 01:28:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-10 21:12:00.057392
• Title: GCWSNet: Generalized Consistent Weighted Sampling for Scalable and Accurate Training of Neural Networks
• Title（参考訳）: GCWSNet: ニューラルネットワークのスケーラブルで正確なトレーニングのための一般化された一貫性重み付きサンプリング
• Authors: Ping Li and Weijie Zhao
• Abstract要約: GCWSは、元のデータに電力変換を適用するための数値的に安定したスキームを提供する。 ハッシュデータを、さまざまな公開分類データセット上のニューラルネットワークにフィードします。 GCWSNetは、しばしば分類精度を向上する。
• 参考スコア（独自算出の注目度）: 21.607059258448594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop the "generalized consistent weighted sampling" (GCWS) for hashing the "powered-GMM" (pGMM) kernel (with a tuning parameter $p$). It turns out that GCWS provides a numerically stable scheme for applying power transformation on the original data, regardless of the magnitude of $p$ and the data. The power transformation is often effective for boosting the performance, in many cases considerably so. We feed the hashed data to neural networks on a variety of public classification datasets and name our method ``GCWSNet''. Our extensive experiments show that GCWSNet often improves the classification accuracy. Furthermore, it is evident from the experiments that GCWSNet converges substantially faster. In fact, GCWS often reaches a reasonable accuracy with merely (less than) one epoch of the training process. This property is much desired because many applications, such as advertisement click-through rate (CTR) prediction models, or data streams (i.e., data seen only once), often train just one epoch. Another beneficial side effect is that the computations of the first layer of the neural networks become additions instead of multiplications because the input data become binary (and highly sparse). Empirical comparisons with (normalized) random Fourier features (NRFF) are provided. We also propose to reduce the model size of GCWSNet by count-sketch and develop the theory for analyzing the impact of using count-sketch on the accuracy of GCWS. Our analysis shows that an ``8-bit'' strategy should work well in that we can always apply an 8-bit count-sketch hashing on the output of GCWS hashing without hurting the accuracy much. There are many other ways to take advantage of GCWS when training deep neural networks. For example, one can apply GCWS on the outputs of the last layer to boost the accuracy of trained deep neural networks.
• Abstract（参考訳）: 我々は,「パワーGMM」(pGMM)カーネルをハッシュ化するためのGCWS(Generalized consistent weighted sample)を開発した(チューニングパラメータは$p$)。 GCWSは、$p$とデータの大きさに関わらず、元のデータに電力変換を適用するための数値的に安定したスキームを提供する。 電力変換は、多くの場合、性能を高めるのに効果的である。 ハッシュデータをさまざまな公開分類データセットのニューラルネットワークにフィードし、そのメソッドを ``GCWSNet'' と名付ける。 我々はGCWSNetがしばしば分類精度を向上することを示した。 さらに、GCWSNetがかなり高速に収束していることは、実験から明らかである。 実際、GCWSはトレーニングプロセスの1つの時代遅れで、妥当な精度に達することが多い。 この特性は、広告クリックスルー率(CTR)予測モデルやデータストリーム(つまり、一度だけ見られるデータ)など多くのアプリケーションが、1つのエポックをトレーニングするので、非常に望ましい。 もうひとつの有益な副作用は、入力データがバイナリ(かつ非常にスパース)になるため、ニューラルネットワークの第1層の計算が乗算ではなく加算となることである。 正規化)ランダムフーリエ特徴(NRFF)と経験的比較を行う。 また、カウントスケッチによるGCWSNetのモデルサイズ削減を提案し、カウントスケッチを用いたGCWSの精度への影響を解析する理論を開発した。 分析の結果,GCWSハッシュの出力に8ビットのカウントスケッチハッシュを常に適用できるため,精度を損なうことなく, '`8-bit'' 戦略がうまく機能することが示唆された。 ディープニューラルネットワークをトレーニングする際、GCWSを利用する方法は他にもたくさんあります。 例えば、トレーニングされたディープニューラルネットワークの精度を高めるために、最後のレイヤの出力にGCWSを適用することができる。

関連論文リスト

• YOSO: You-Only-Sample-Once via Compressed Sensing for Graph Neural Network Training [9.02251811867533]
  YOSO(You-Only-Sample-Once)は、予測精度を維持しながら効率的なトレーニングを実現するアルゴリズムである。 YOSOは、正規直交基底計算のような従来の圧縮センシング(CS)法で高価な計算を避けるだけでなく、高い確率精度の保持も保証している。
  論文  参考訳（メタデータ） (2024-11-08T16:47:51Z)
• NIDS Neural Networks Using Sliding Time Window Data Processing with Trainable Activations and its Generalization Capability [0.0]
  本稿では,ネットワーク侵入検知システム(NIDS)のためのニューラルネットワークについて述べる。 ディープパケットインスペクションに頼らず、ほとんどのNIDSデータセットで見つからず、従来のフローコレクタから簡単に取得できる11の機能しか必要としない。 報告されたトレーニング精度は、提案手法の99%を超え、ニューラルネットワークの入力特性は20に満たない。
  論文  参考訳（メタデータ） (2024-10-24T11:36:19Z)
• Metric Residual Networks for Sample Efficient Goal-conditioned Reinforcement Learning [52.59242013527014]
  ゴール条件強化学習(GCRL)は、現実世界の幅広い応用の可能性を秘めている。 サンプル効率は、GCRLにとって最も重要であり、デフォルトでは、エージェントはその目標に達するとのみ報酬を受ける。 GCRLのための新しいニューラルアーキテクチャを導入し、一般的なモノリシックネットワークアーキテクチャよりもはるかに優れたサンプリング効率を実現する。
  論文  参考訳（メタデータ） (2022-08-17T08:04:41Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• Scalable Graph Neural Networks via Bidirectional Propagation [89.70835710988395]
  グラフニューラルネットワーク(GNN)は、非ユークリッドデータを学習するための新興分野である。 本稿では、特徴ベクトルとトレーニング/テストノードの両方から局所的な双方向伝搬プロセスを利用するスケーラブルなGNNであるGBPを提案する。 実証実験により、GBPは、トレーニング/テスト時間を大幅に減らして最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2020-10-29T08:55:33Z)
• Graph Neural Network for Large-Scale Network Localization [35.29322617956428]
  グラフニューラルネットワーク(GNN)は、機械学習のコンテキストにおいて構造化データの分類に使用される。 本研究では,古典的だが難解な非線形回帰問題,すなわちネットワークローカライゼーションにGNNを採用する。 まず、GNNは、精度、堅牢性、計算時間の観点から、大規模ネットワークローカライゼーションの最適解である可能性がある。
  論文  参考訳（メタデータ） (2020-10-22T12:39:26Z)
• Self-grouping Convolutional Neural Networks [30.732298624941738]
  本稿では,SG-CNNと呼ばれる自己グループ型畳み込みニューラルネットワークの設計手法を提案する。 各フィルタについて、まず入力チャネルの重要度を評価し、重要度ベクトルを同定する。 得られたデータに依存したセントロイドを用いて、重要でない接続を創り出し、プルーニングの精度損失を暗黙的に最小化する。
  論文  参考訳（メタデータ） (2020-09-29T06:24:32Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)
• Passive Batch Injection Training Technique: Boosting Network Performance by Injecting Mini-Batches from a different Data Distribution [39.8046809855363]
  この研究は、元の入力データとは異なる分布から追加のデータを利用するディープニューラルネットワークの新しいトレーニング手法を提案する。 私たちの知る限りでは、畳み込みニューラルネットワーク(CNN)のトレーニングを支援するために、異なるデータ分散を利用する最初の研究である。
  論文  参考訳（メタデータ） (2020-06-08T08:17:32Z)
• Gradient Centralization: A New Optimization Technique for Deep Neural Networks [74.935141515523]
  勾配集中(GC)は、勾配ベクトルをゼロ平均とする集中化によって、勾配を直接操作する。 GCは、制約された損失関数を持つ射影勾配降下法とみなすことができる。 GCは実装が非常に簡単で、1行のコードだけで既存のグラデーションベースのDNNに簡単に組み込める。
  論文  参考訳（メタデータ） (2020-04-03T10:25:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。