論文の概要: EGAD: Evolving Graph Representation Learning with Self-Attention and
Knowledge Distillation for Live Video Streaming Events
- arxiv url: http://arxiv.org/abs/2011.05705v1
- Date: Wed, 11 Nov 2020 11:16:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-26 23:15:35.937279
- Title: EGAD: Evolving Graph Representation Learning with Self-Attention and
Knowledge Distillation for Live Video Streaming Events
- Title（参考訳）: EGAD:ライブビデオストリーミングイベントにおける自己注意と知識蒸留によるグラフ表現学習の展開
- Authors: Stefanos Antaris, Dimitrios Rafailidis, Sarunas Girdzijauskas
- Abstract要約: 本稿では,ライブビデオストリーミングイベントにおける視聴者間の接続のネットワーク容量を正確に予測するために,重み付きグラフ上に動的グラフ表現学習モデルを提案する。
本稿では,連続的なグラフ畳み込みネットワーク間の重み付けに自己注意機構を導入することにより,グラフの進化を捉えるニューラルネットワークアーキテクチャEGADを提案する。
- 参考スコア（独自算出の注目度）: 4.332367445046418
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this study, we present a dynamic graph representation learning model on
weighted graphs to accurately predict the network capacity of connections
between viewers in a live video streaming event. We propose EGAD, a neural
network architecture to capture the graph evolution by introducing a
self-attention mechanism on the weights between consecutive graph convolutional
networks. In addition, we account for the fact that neural architectures
require a huge amount of parameters to train, thus increasing the online
inference latency and negatively influencing the user experience in a live
video streaming event. To address the problem of the high online inference of a
vast number of parameters, we propose a knowledge distillation strategy. In
particular, we design a distillation loss function, aiming to first pretrain a
teacher model on offline data, and then transfer the knowledge from the teacher
to a smaller student model with less parameters. We evaluate our proposed model
on the link prediction task on three real-world datasets, generated by live
video streaming events. The events lasted 80 minutes and each viewer exploited
the distribution solution provided by the company Hive Streaming AB. The
experiments demonstrate the effectiveness of the proposed model in terms of
link prediction accuracy and number of required parameters, when evaluated
against state-of-the-art approaches. In addition, we study the distillation
performance of the proposed model in terms of compression ratio for different
distillation strategies, where we show that the proposed model can achieve a
compression ratio up to 15:100, preserving high link prediction accuracy. For
reproduction purposes, our evaluation datasets and implementation are publicly
available at https://stefanosantaris.github.io/EGAD.
- Abstract（参考訳）: 本研究では,重み付きグラフを用いた動的グラフ表現学習モデルを提案し,ライブビデオストリーミングイベントにおける視聴者間の接続のネットワーク容量を正確に予測する。
本稿では,連続するグラフ畳み込みネットワーク間の重み付けに自己アテンション機構を導入することで,グラフ進化を捉えるニューラルネットワークアーキテクチャegadを提案する。
さらに、ニューラルネットワークはトレーニングに膨大なパラメータを必要とするため、オンライン推論レイテンシが増加し、ライブビデオストリーミングイベントにおけるユーザエクスペリエンスに悪影響を及ぼすという事実も説明します。
大量のパラメータの高オンライン推論の問題に対処するため,我々は知識蒸留戦略を提案する。
特に,オフラインデータ上で教師モデルを事前学習し,その知識を教師からより少ないパラメータでより小さな生徒モデルに伝達することを目的とした蒸留損失関数の設計を行った。
ライブビデオストリーミングイベントによって生成された実世界の3つのデータセットのリンク予測タスクについて,提案モデルの評価を行った。
イベントは80分間続き、各ビューアはHive Streaming ABが提供する分散ソリューションを利用していた。
提案モデルの有効性を,最先端手法に対して評価した場合のリンク予測精度と要求パラメータ数の観点から検証した。
さらに, 異なる蒸留方法の圧縮比を用いて, 提案モデルの蒸留性能について検討し, 提案モデルが最大15:100まで圧縮比を達成でき, 高いリンク予測精度を保てることを示した。
再現のために、評価データセットと実装はhttps://stefanosantaris.github.io/egad.orgで公開されています。
関連論文リスト
- Better with Less: A Data-Active Perspective on Pre-Training Graph Neural
Networks [39.71761440499148]
グラフニューラルネットワーク(GNN)の事前トレーニングは、ラベルのないデータで下流タスクの転送可能な知識を学ぶことを目的としている。
より少ないが慎重に選択されたデータはGNNモデルに入力される。
実験の結果,提案手法により,より少ないトレーニングデータとより優れたダウンストリーム性能を有する効率的な事前学習モデルが得られることがわかった。
論文 参考訳（メタデータ） (2023-11-02T07:09:59Z) - A Control-Centric Benchmark for Video Prediction [69.22614362800692]
本稿では,アクション条件付きビデオ予測のベンチマークを,制御ベンチマークの形式で提案する。
私たちのベンチマークには、11のタスクカテゴリと310のタスクインスタンス定義を備えたシミュレーション環境が含まれています。
次に、ベンチマークを活用して、スケールするモデルサイズ、トレーニングデータの量、モデルアンサンブルの影響を調査します。
論文 参考訳（メタデータ） (2023-04-26T17:59:45Z) - Directed Acyclic Graph Factorization Machines for CTR Prediction via
Knowledge Distillation [65.62538699160085]
本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。
KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
論文 参考訳（メタデータ） (2022-11-21T03:09:42Z) - Robust Causal Graph Representation Learning against Confounding Effects [21.380907101361643]
本稿では,ロバスト因果グラフ表現学習(RCGRL)を提案する。
RCGRLは、無条件のモーメント制約の下でインストゥルメンタル変数を生成するアクティブなアプローチを導入し、グラフ表現学習モデルにより、共同設立者を排除している。
論文 参考訳（メタデータ） (2022-08-18T01:31:25Z) - A Graph-Enhanced Click Model for Web Search [67.27218481132185]
ウェブ検索のための新しいグラフ強調クリックモデル(GraphCM)を提案する。
セッション内情報とセッション間情報の両方を、スパーシリティ問題とコールドスタート問題に活用する。
論文 参考訳（メタデータ） (2022-06-17T08:32:43Z) - Meta-Reinforcement Learning via Buffering Graph Signatures for Live
Video Streaming Events [4.332367445046418]
本稿では,ライブビデオストリーミングイベントに参加する視聴者間のネットワークのキャパシティの予測に適応するメタラーニングモデルを提案する。
実世界の3つのライブビデオストリーミングイベントにおけるリンクウェイト予測タスクについて,提案モデルの評価を行った。
論文 参考訳（メタデータ） (2021-10-03T14:03:22Z) - STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。
実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
論文 参考訳（メタデータ） (2021-07-15T02:53:11Z) - FitVid: Overfitting in Pixel-Level Video Prediction [117.59339756506142]
われわれはFitVidという新しいアーキテクチャを導入し、一般的なベンチマークに厳しいオーバーフィッティングを行えるようにした。
FitVidは、4つの異なるメトリクスで4つの異なるビデオ予測ベンチマークで現在の最先端モデルを上回っている。
論文 参考訳（メタデータ） (2021-06-24T17:20:21Z) - TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning [87.38675639186405]
我々は,動的に進化するグラフを連続的に扱う,TCLと呼ばれる新しいグラフニューラルネットワークアプローチを提案する。
我々の知る限りでは、これは動的グラフ上の表現学習にコントラスト学習を適用する最初の試みである。
論文 参考訳（メタデータ） (2021-05-17T15:33:25Z) - Distill2Vec: Dynamic Graph Representation Learning with Knowledge
Distillation [4.568777157687959]
訓練可能なパラメータの少ないコンパクトなモデルを学習するための知識蒸留手法であるDistill2Vecを提案する。
公開データセットを用いた実験は、いくつかの最先端アプローチよりも提案したモデルの方が優れていることを示す。
論文 参考訳（メタデータ） (2020-11-11T09:49:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。