論文の概要: TrafficGPT: Breaking the Token Barrier for Efficient Long Traffic Analysis and Generation

• arxiv url: http://arxiv.org/abs/2403.05822v1
• Date: Sat, 9 Mar 2024 07:19:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 12:14:40.407901
• Title: TrafficGPT: Breaking the Token Barrier for Efficient Long Traffic Analysis and Generation
• Title（参考訳）: trafficgpt: 効率的な長時間トラフィック分析と生成のためのトークン障壁を破る
• Authors: Jian Qu, Xiaobo Ma, Jianfeng Li
• Abstract要約: 我々は、長いフローの分類と生成タスクに関連する複雑な課題に対処できるディープラーニングモデルであるTrafficGPTを紹介する。 TrafficGPTは、分類タスクにおいて優れたパフォーマンスを示し、最先端レベルに達する。 これらの進歩は、トラフィックフローの分類と生成タスクの両方における将来の応用を約束する。
• 参考スコア（独自算出の注目度）: 6.5215620509469705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over the years, network traffic analysis and generation have advanced significantly. From traditional statistical methods, the field has progressed to sophisticated deep learning techniques. This progress has improved the ability to detect complex patterns and security threats, as well as to test and optimize network performance. However, obstacles persist, such as the dependence on labeled data for analysis and the difficulty of generating traffic samples that follow realistic patterns. Pre-trained deep neural networks have emerged as powerful tools to resolve these issues, offering improved performance by learning robust data representations from large unlabeled datasets. Despite their benefits, existing pre-trained models face challenges like token length limitation, which restricts their usefulness in comprehensive traffic analysis and realistic traffic generation. To address these challenges, we introduce TrafficGPT, a deep learning model that can tackle complex challenges related to long flow classification and generation tasks. This model uses generative pre-training with the linear attention mechanism, which allows for a substantially increased capacity of up to 12,032 tokens from the previous limit of only 512 tokens. TrafficGPT demonstrates superior performance in classification tasks, reaching state-of-the-art levels. In generation tasks, it closely resembles real traffic flows, with low JS divergence and an F1 score close to 0.5 (representing a random guess) in discriminating generated data. These advancements hold promise for future applications in both traffic flow classification and generation tasks.
• Abstract（参考訳）: ここ数年、ネットワークトラフィック分析と生成は著しく進歩している。 従来の統計手法から、この分野は高度な深層学習技術へと発展してきた。 この進歩により、複雑なパターンやセキュリティ脅威を検出し、ネットワークパフォーマンスをテストおよび最適化する能力が改善された。 しかし、分析のためのラベル付きデータへの依存や、現実的なパターンに従うトラフィックサンプルの生成の困難など、障害は継続する。 事前トレーニングされたディープニューラルネットワークは、これらの問題を解決する強力なツールとして登場し、大きなラベルのないデータセットから堅牢なデータ表現を学習することで、パフォーマンスの向上を提供する。 それらの利点にもかかわらず、既存のトレーニング済みモデルはトークン長制限のような課題に直面しており、包括的なトラフィック分析と現実的なトラフィック生成においてその有用性を制限する。 これらの課題に対処するために、長いフローの分類と生成タスクに関連する複雑な課題に対処できるディープラーニングモデルであるTrafficGPTを導入する。 このモデルはリニアアテンション機構による生成前トレーニングを使用しており、以前の512トークンの制限から最大12,032トークンの容量を実質的に増やすことができる。 trafficgptは分類タスクにおいて優れた性能を示し、最先端レベルに達する。 生成タスクでは、JSのばらつきが低く、F1スコアが生成したデータの識別において0.5に近い(ランダムな推測を表す)ために、実際のトラフィックフローとよく似ている。 これらの進歩は、トラフィックフローの分類と生成タスクにおける将来の応用を約束する。

関連論文リスト

• Liquid Neural Network-based Adaptive Learning vs. Incremental Learning for Link Load Prediction amid Concept Drift due to Network Failures [37.66676003679306]
  概念の漂流に適応することは、機械学習において難しい課題である。 通信ネットワークでは、障害イベントの後に交通予報を行う際にこのような問題が生じる。 本稿では,適応学習アルゴリズム,すなわち,データパターンの急激な変化を,再学習を必要とせずに自己適応できる手法を提案する。
  論文  参考訳（メタデータ） (2024-04-08T08:47:46Z)
• Energy-Guided Data Sampling for Traffic Prediction with Mini Training Datasets [13.065729535009925]
  本稿では、畳み込みニューラルネットワーク(CNN)とLong Short-Term Memory(LSTM)アーキテクチャを融合して、トラフィックフローのダイナミクスを予測する革新的なソリューションを提案する。 本研究の重要な成果は,小規模な交通システムを対象としたシミュレーションから,大規模交通システムのトレーニングデータをサンプリングできることである。
  論文  参考訳（メタデータ） (2024-03-27T15:57:42Z)
• TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language Models [27.306180426294784]
  大規模言語モデル(LLM)を利用した新しい交通予測フレームワークであるTPLLMを紹介する。 本フレームワークでは,Lonal Neural Networks (LoCNNs) に基づくシーケンス埋め込み層と,Graph Contemporalal Networks (GCNs) に基づくグラフ埋め込み層を構築し,シーケンスの特徴と空間的特徴を抽出する。 実世界の2つのデータセットの実験では、フルサンプルと数ショットの予測シナリオの両方で、満足できるパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-03-04T17:08:57Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Lens: A Foundation Model for Network Traffic [19.3652490585798]
  Lensは、T5アーキテクチャを活用して、大規模な未ラベルデータから事前訓練された表現を学習するネットワークトラフィックの基礎モデルである。 Masked Span Prediction(MSP)、Packet Order Prediction(POP)、Homologous Traffic Prediction(HTP)の3つの異なるタスクを組み合わせた新しい損失を設計する。
  論文  参考訳（メタデータ） (2024-02-06T02:45:13Z)
• Distil the informative essence of loop detector data set: Is network-level traffic forecasting hungry for more data? [0.8002196839441036]
  本稿では,予測モデルのトレーニングに実際に有効なループデータのサンプル数を検討するために,不確実性を考慮したトラフィック予測フレームワークを提案する。 提案手法は,大規模トラフィックデータセットの真の情報内容を評価する上で有用である。
  論文  参考訳（メタデータ） (2023-10-31T11:23:10Z)
• LargeST: A Benchmark Dataset for Large-Scale Traffic Forecasting [65.71129509623587]
  道路交通予測はスマートシティのイニシアチブにおいて重要な役割を担い、ディープラーニングの力によって大きな進歩を遂げている。 しかし、現在の公開データセットで達成される有望な結果は、現実的なシナリオには適用できないかもしれない。 カリフォルニアで合計8,600のセンサーと5年間の時間カバレッジを含む、LargeSTベンチマークデータセットを紹介します。
  論文  参考訳（メタデータ） (2023-06-14T05:48:36Z)
• Language-Guided Traffic Simulation via Scene-Level Diffusion [46.47977644226296]
  本稿では,シーンレベルの条件拡散モデルであるCTG++について述べる。 まず,現実的で制御可能なトラフィックを生成する時間的バックボーンを備えたシーンレベルの拡散モデルを提案する。 次に、大きな言語モデル(LLM)を用いて、ユーザクエリを、拡散モデルをクエリに準拠した生成に導く損失関数に変換する。
  論文  参考訳（メタデータ） (2023-06-10T05:20:30Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• PDFormer: Propagation Delay-Aware Dynamic Long-Range Transformer for Traffic Flow Prediction [78.05103666987655]
  空間時空間グラフニューラルネットワーク(GNN)モデルは、この問題を解決する最も有望な方法の1つである。 本稿では,交通流の正確な予測を行うために,遅延を意識した動的長距離トランスフォーマー(PDFormer)を提案する。 提案手法は,最先端の性能を達成するだけでなく,計算効率の競争力も発揮できる。
  論文  参考訳（メタデータ） (2023-01-19T08:42:40Z)
• Deep traffic light detection by overlaying synthetic context on arbitrary natural images [49.592798832978296]
  深部交通光検出器のための人工的な交通関連トレーニングデータを生成する手法を提案する。 このデータは、任意の画像背景の上に偽のトラフィックシーンをブレンドするために、基本的な非現実的なコンピュータグラフィックスを用いて生成される。 また、交通信号データセットの本質的なデータ不均衡問題にも対処し、主に黄色い状態のサンプルの少なさによって引き起こされる。
  論文  参考訳（メタデータ） (2020-11-07T19:57:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。