論文の概要: A new hope for network model generalization

• arxiv url: http://arxiv.org/abs/2207.05843v1
• Date: Tue, 12 Jul 2022 21:16:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-15 04:48:40.550359
• Title: A new hope for network model generalization
• Title（参考訳）: ネットワークモデル一般化への新たな希望
• Authors: Alexander Dietm\"uller, Siddhant Ray, Romain Jacob, Laurent Vanbever
• Abstract要約: ネットワークトラフィックダイナミクスのための機械学習モデルを一般化することは、失われた原因とみなされる傾向がある。 _Transformer_と呼ばれるMLアーキテクチャは、これまで想像不可能だった他のドメインでの一般化を可能にした。 パケットトレースからネットワークダイナミクスを学習するためのNTT(Network Traffic Transformer)を提案する。
• 参考スコア（独自算出の注目度）: 66.5377859849467
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Generalizing machine learning (ML) models for network traffic dynamics tends to be considered a lost cause. Hence, for every new task, we often resolve to design new models and train them on model-specific datasets collected, whenever possible, in an environment mimicking the model's deployment. This approach essentially gives up on generalization. Yet, an ML architecture called_Transformer_ has enabled previously unimaginable generalization in other domains. Nowadays, one can download a model pre-trained on massive datasets and only fine-tune it for a specific task and context with comparatively little time and data. These fine-tuned models are now state-of-the-art for many benchmarks. We believe this progress could translate to networking and propose a Network Traffic Transformer (NTT), a transformer adapted to learn network dynamics from packet traces. Our initial results are promising: NTT seems able to generalize to new prediction tasks and contexts. This study suggests there is still hope for generalization, though it calls for a lot of future research.
• Abstract（参考訳）: ネットワークトラフィックダイナミクスのための機械学習モデル(ML)の一般化は、失われた原因とみなされる傾向がある。 したがって、新しいタスク毎に、モデルデプロイメントを模倣した環境で、新しいモデルを設計し、可能な限り収集されたモデル固有のデータセットでトレーニングすることをよく決心します。 このアプローチは基本的に一般化を諦める。 しかし、_transformer_と呼ばれるmlアーキテクチャは、他のドメインでこれまで想像できなかった一般化を可能にした。 今日では、大量のデータセットで事前トレーニングされたモデルをダウンロードして、特定のタスクやコンテキストに対してのみ、比較的少ない時間とデータで微調整することができる。 これらの微調整されたモデルは、今では多くのベンチマークで最先端である。 我々は、この進歩がネットワークに変換され、パケットトレースからネットワークのダイナミクスを学ぶのに適応したトランスフォーマーであるネットワークトラフィックトランスフォーマー(ntt)が提案されると信じている。 NTTは新しい予測タスクやコンテキストに一般化できるようです。 この研究は、まだ一般化への希望が残っていることを示唆している。

関連論文リスト

• NuwaTS: a Foundation Model Mending Every Incomplete Time Series [24.768755438620666]
  textbfNuwaTSは,事前学習型言語モデルを用いて時系列計算を行う新しいフレームワークである。 NuwaTSは、任意のドメインにまたがる欠落したデータをインプットするために適用することができる。 我々はNuwaTSが予測などの他の時系列タスクに一般化していることを示す。
  論文  参考訳（メタデータ） (2024-05-24T07:59:02Z)
• MotherNet: A Foundational Hypernetwork for Tabular Classification [1.9643748953805937]
  我々は、数百万の分類タスクで訓練されたMotherNetと呼ばれるハイパーネットワークアーキテクチャを提案する。 MotherNetは、特定のデータセットのトレーニングを、単一のフォワードパスを通じてコンテキスト内学習に置き換える。 MotherNetが生成する子ネットワークは、コンテキスト内学習を使用して、小さなデータセット上で勾配降下を用いてトレーニングされたニューラルネットワークより優れています。
  論文  参考訳（メタデータ） (2023-12-14T01:48:58Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• $\Delta$-Patching: A Framework for Rapid Adaptation of Pre-trained Convolutional Networks without Base Performance Loss [71.46601663956521]
  大規模なデータセットで事前トレーニングされたモデルはしばしば、時間とともにやってくる新しいタスクやデータセットをサポートするように微調整される。 モデルコピーを格納することなく、効率よく微調整ニューラルネットワークモデルに$Delta$-Patchingを提案する。 我々の実験によると、$Delta$-Networksは、トレーニングされるパラメータのごく一部しか必要とせず、初期のモデルパッチ作業より優れています。
  論文  参考訳（メタデータ） (2023-03-26T16:39:44Z)
• Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting [72.89994745876086]
  本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。 ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。 その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-20T22:25:47Z)
• Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
  本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
  論文  参考訳（メタデータ） (2022-03-29T21:18:47Z)
• Shared and Private VAEs with Generative Replay for Continual Learning [1.90365714903665]
  継続的学習は、学習済みのタスクを忘れずに新しいタスクを学習しようとする。 既存のartificial neural network (ann)モデルのほとんどは失敗するが、人間は生涯にわたって過去の作品を思い出して同じことをする。 我々は,MNIST,Permuted MNIST(QMNIST),CIFAR100,MiniImageNetデータセットなどの視覚的連続学習ベンチマークにおいて,このハイブリッドモデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-05-17T06:18:36Z)
• Fast Text-Only Domain Adaptation of RNN-Transducer Prediction Network [0.0]
  RNNトランスデューサモデルは,少量のテキストデータのみを用いて,新しいドメインに効果的に適応できることを示した。 本稿では,複数のASR評価タスクを用いて,目標タスクWERにおける相対的な10〜45%の利得が得られる方法を示す。
  論文  参考訳（メタデータ） (2021-04-22T15:21:41Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。