論文の概要: DynamicEmbedding: Extending TensorFlow for Colossal-Scale Applications
- arxiv url: http://arxiv.org/abs/2004.08366v1
- Date: Fri, 17 Apr 2020 17:43:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-12 12:41:43.116885
- Title: DynamicEmbedding: Extending TensorFlow for Colossal-Scale Applications
- Title(参考訳): dynamicembedding: コロッサルスケールアプリケーションのためのtensorflowの拡張
- Authors: Yun Zeng, Siqi Zuo, Dongcai Shen
- Abstract要約: 今日、スパースな特徴を持つディープラーニングモデルの制限の1つは、入力の事前定義された性質に起因している。
結果のモデルは、はるかに大きなスケールで、より良く、効率的に実行可能であることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the limitations of deep learning models with sparse features today
stems from the predefined nature of their input, which requires a dictionary be
defined prior to the training. With this paper we propose both a theory and a
working system design which remove this limitation, and show that the resulting
models are able to perform better and efficiently run at a much larger scale.
Specifically, we achieve this by decoupling a model's content from its form to
tackle architecture evolution and memory growth separately. To efficiently
handle model growth, we propose a new neuron model, called DynamicCell, drawing
inspiration from from the free energy principle [15] to introduce the concept
of reaction to discharge non-digestive energy, which also subsumes gradient
descent based approaches as its special cases. We implement DynamicCell by
introducing a new server into TensorFlow to take over most of the work
involving model growth. Consequently, it enables any existing deep learning
models to efficiently handle arbitrary number of distinct sparse features
(e.g., search queries), and grow incessantly without redefining the model. Most
notably, one of our models, which has been reliably running in production for
over a year, is capable of suggesting high quality keywords for advertisers of
Google Smart Campaigns and achieved significant accuracy gains based on a
challenging metric -- evidence that data-driven, self-evolving systems can
potentially exceed the performance of traditional rule-based approaches.
- Abstract(参考訳): 今日、スパースな特徴を持つディープラーニングモデルの制限の1つは、トレーニング前に辞書を定義する必要がある入力の事前定義された性質に起因している。
本稿では、この制限を除去する理論と作業システム設計の両方を提案し、結果のモデルがはるかに大きなスケールでより良く効率的に動作可能であることを示す。
具体的には、モデルの内容と形式を分離して、アーキテクチャの進化とメモリ成長を別々に解決する。
モデル成長を効率的に処理するために,自由エネルギー原理[15]からインスピレーションを得て,非消化エネルギーを放出する反応の概念を導入する,DynamicCellと呼ばれる新しいニューロンモデルを提案する。
モデル成長に関わる作業の大部分を引き継ぐために、TensorFlowに新しいサーバを導入することでDynamicCellを実装しています。
これにより、既存のディープラーニングモデルでも、任意の数の異なるスパース機能(検索クエリなど)を効率的に処理でき、モデルを再定義することなく必然的に成長することができる。
中でも注目すべきなのは,当社のモデルのひとつで,Google Smart Campaignsの広告主に対して,高品質なキーワードの提案と,データ駆動の自己進化型システムが従来のルールベースのアプローチのパフォーマンスを上回る可能性があるという,困難な指標に基づく大幅な精度向上を実現している点です。
関連論文リスト
- Generative Learning of Continuous Data by Tensor Networks [47.77281294161002]
本稿では,連続データのためのテンソルネットワーク生成モデルについて紹介する。
我々は、このモデルの性能を、いくつかの合成および実世界のデータセットでベンチマークする。
本手法は, 急速に成長する生成学習分野において, 量子インスピレーション法の有効性を示す重要な理論的, 実証的な証拠を与える。
論文 参考訳(メタデータ) (2023-10-31T14:37:37Z) - Your Autoregressive Generative Model Can be Better If You Treat It as an
Energy-Based One [83.5162421521224]
本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。
E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。
我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
論文 参考訳(メタデータ) (2022-06-26T10:58:41Z) - DST: Dynamic Substitute Training for Data-free Black-box Attack [79.61601742693713]
そこで本研究では,対象モデルからより高速に学習するための代用モデルの促進を目的とした,新しい動的代用トレーニング攻撃手法を提案する。
タスク駆動型グラフに基づく構造情報学習の制約を導入し、生成したトレーニングデータの質を向上させる。
論文 参考訳(メタデータ) (2022-04-03T02:29:11Z) - STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。
実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
論文 参考訳(メタデータ) (2021-07-15T02:53:11Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳(メタデータ) (2021-06-24T01:40:17Z) - Autoregressive Dynamics Models for Offline Policy Evaluation and
Optimization [60.73540999409032]
表現的自己回帰ダイナミクスモデルが次の状態の異なる次元を生成し、以前の次元で順次条件付きで報酬を得ることを示す。
また,リプレイバッファを充実させる手段として,自己回帰的ダイナミクスモデルがオフラインポリシー最適化に有用であることを示す。
論文 参考訳(メタデータ) (2021-04-28T16:48:44Z) - Prediction-Centric Learning of Independent Cascade Dynamics from Partial
Observations [13.680949377743392]
本稿では,このモデルから生成された予測が正確であるような拡散モデルの学習の問題に対処する。
本稿では,スケーラブルな動的メッセージパッシング手法に基づく計算効率のよいアルゴリズムを提案する。
学習モデルからの抽出可能な推論は,元のモデルと比較して限界確率の予測精度がよいことを示す。
論文 参考訳(メタデータ) (2020-07-13T17:58:21Z) - Dynamic Model Pruning with Feedback [64.019079257231]
余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。
CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
論文 参考訳(メタデータ) (2020-06-12T15:07:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。