論文の概要: Scaling TensorFlow to 300 million predictions per second
- arxiv url: http://arxiv.org/abs/2109.09541v1
- Date: Mon, 20 Sep 2021 13:52:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-21 22:11:03.156199
- Title: Scaling TensorFlow to 300 million predictions per second
- Title(参考訳): TensorFlowを毎秒3億の予測にスケールアップ
- Authors: Jan Hartman, Davorin Kopi\v{c}
- Abstract要約: 本稿では,オンライン広告エコシステムにおいて,機械学習モデルをTFフレームワークに大規模に移行する過程について述べる。
この講演では、直面した重要な課題に対処し、それに取り組む方法を説明します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present the process of transitioning machine learning models to the
TensorFlow framework at a large scale in an online advertising ecosystem. In
this talk we address the key challenges we faced and describe how we
successfully tackled them; notably, implementing the models in TF and serving
them efficiently with low latency using various optimization techniques.
- Abstract(参考訳): 我々は、オンライン広告エコシステムにおいて、機械学習モデルをTensorFlowフレームワークに大規模に移行する過程を提示する。
この講演では、私たちが直面した重要な課題に対処し、それらにどう対処したかを説明します。特に、TFでモデルを実装し、様々な最適化手法を使用して、低レイテンシで効率的にそれらを提供する。
関連論文リスト
- Fast Kernel Scene Flow [44.28000710831124]
効率的なライダーシーンフロー推定における最先端性能を示す新しい位置符号化型カーネルを提案する。
提案手法の重要な特徴は,高密度ライダーデータ(8k-144kポイント)によるリアルタイムに近い性能であり,ロボット工学や自律走行シナリオにおける様々な実践的応用を可能にする。
論文 参考訳(メタデータ) (2024-03-09T12:24:49Z) - Saturn: Efficient Multi-Large-Model Deep Learning [6.377812618046872]
まず,ユーザが大規模モデルを構築する上で,3つの重要な相互接続システム課題を特定する。
次に、これらを共同問題として形式化し、これらの課題に同時に取り組むために、新しいシステムアーキテクチャを構築します。
評価の結果,我々の共同最適化手法は,従来のDLよりも39~49%低いモデル選択実行時間が得られることがわかった。
論文 参考訳(メタデータ) (2023-11-06T02:59:49Z) - An Edge-Aware Graph Autoencoder Trained on Scale-Imbalanced Data for
Traveling Salesman Problems [22.792870849003137]
本研究では、トラベリングセールスマン問題(TSP)を解決するためのデータ駆動グラフ表現学習法を提案する。
残留ゲートエンコーダは遅延エッジ埋め込みを学習するために訓練され、次いでエッジ中心のデコーダでリンク予測をエンドツーエンドに出力する。
実験結果から,提案したエッジ対応グラフオートエンコーダモデルにより,高い競合性能が得られた。
論文 参考訳(メタデータ) (2023-10-10T11:42:49Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳(メタデータ) (2023-06-28T18:14:22Z) - Towards Compute-Optimal Transfer Learning [82.88829463290041]
我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。
その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
論文 参考訳(メタデータ) (2023-04-25T21:49:09Z) - Learning to Optimize Permutation Flow Shop Scheduling via Graph-based
Imitation Learning [70.65666982566655]
置換フローショップスケジューリング(PFSS)は製造業で広く使われている。
我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。
我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
論文 参考訳(メタデータ) (2022-10-31T09:46:26Z) - Fed-LAMB: Layerwise and Dimensionwise Locally Adaptive Optimization
Algorithm [24.42828071396353]
FL(Federated Learning)の新たなパラダイムでは、モバイルデバイスなどの大量のクライアントが、それぞれのデータに基づいてトレーニングされている。
低帯域幅のため、分散最適化手法は計算負荷をそれらのクライアントからサーバにシフトさせる必要がある。
我々は階層的なディープニューラルネットワークに基づく新しい学習手法であるFed-LAMBを提案する。
論文 参考訳(メタデータ) (2021-10-01T16:54:31Z) - Multi-Exit Semantic Segmentation Networks [78.44441236864057]
本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。
パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。
接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
論文 参考訳(メタデータ) (2021-06-07T11:37:03Z) - FlowStep3D: Model Unrolling for Self-Supervised Scene Flow Estimation [87.74617110803189]
シーンフローとして知られるシーン内の点の3次元運動を推定することは、コンピュータビジョンにおける中核的な問題である。
本稿では,シーンフローの予測を洗練するための反復的アライメント手順の1ステップを学習する再帰的アーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-11-19T23:23:48Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。