論文の概要: Protocol-Aware Tokenization and Architecture Co-Design for Wireless Packet Foundation Models

• arxiv url: http://arxiv.org/abs/2606.20587v1
• Date: Thu, 14 May 2026 20:52:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 19:19:54.732706
• Title: Protocol-Aware Tokenization and Architecture Co-Design for Wireless Packet Foundation Models
• Title（参考訳）: 無線パケット基盤モデルのためのプロトコル対応トークン化とアーキテクチャ共設計
• Authors: Swadhin Pradhan, Shazal Irshad, Jerome Henry,
• Abstract要約: PLUME Anonymous [2026] 上に構築し、802.11トレースに対してプロトコル対応のトークン化を導入した。 より深いGPT(PLUME-DEEP, 24層)は98.2%の精度に達し、12層の設計よりも32ポイント向上した。 Mamba-2 状態空間変種 (PLUME-MAMBA) は96.1%、スループットは1.7倍、コンテキストは2倍である。
• 参考スコア（独自算出の注目度）: 0.9558392439655014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: What matters more for building foundation models for wireless packet traces: the tokenizer or the architecture or both? To answer this question, we build on PLUME Anonymous [2026], which introduced protocol-aware tokenization for 802.11 traces; we scale model depth and transfer the same tokenizer to a fundamentally different architecture family. A deeper GPT (PLUME-DEEP, 24 layers) reaches 98.2% top-1 accuracy, gaining 32 points over the original 12-layer design, while a Mamba-2 state-space variant (PLUME-MAMBA) achieves 96.1% with 1.7x higher throughput and 2x longer context. The key insight emerges from a controlled 2x2 comparison across tokenizers and architectures: changing the tokenizer swings accuracy by 32 points; changing the architecture moves it by only 2. Protocol-aware tokenization is the primary performance lever, and the backbone becomes a deployment knob trading accuracy for speed.
• Abstract（参考訳）: ワイヤレスパケットトレースの基盤モデルを構築する上で、さらに重要なのは何か? PLUME Anonymous [2026]は、802.11トレースのプロトコル対応トークン化を導入し、モデルの深さを拡大し、同じトークン化を根本的に異なるアーキテクチャファミリに転送する。 より深いGPT(PLUME-DEEP, 24層)は98.2%の精度に達し、元の12層設計よりも32ポイント、Mamba-2のステートスペース変種(PLUME-MAMBA)は96.1%、スループットは1.7倍、コンテキストは2倍に向上した。 トークン化器の変更は、32ポイントの精度で、アーキテクチャの変更は、わずか2.2ポイントの精度でそれを動かす。 プロトコルを意識したトークン化が主要なパフォーマンスレバーであり、バックボーンは高速なデプロイノブトレーディング精度となる。

関連論文リスト

• Now We Know? A Systematic Comparison of TerraMind and THOR [3.854501808287241]
  本研究は、欧州宇宙機関(ESA)の$-labで開発された2つのGFMと、対照的な設計哲学を比較した。 アーキテクチャ設計の選択 – 特にパッチサイズとデコーダタイプ – は,モデルアイデンティティ自体よりもパフォーマンスのばらつきを説明できます。
  論文  参考訳（メタデータ） (2026-07-20T20:55:06Z)
• EvoPatch-IoT: Evolution-Aware Cross-Architecture Vulnerability Retrieval and Patch-State Profiling for BusyBox-Based IoT Firmware [0.07646713951724009]
  BusyBoxはLinuxベースのInternet-of-Things(IoT)ファームウェアで最も広く使われているユーザランドコンポーネントの1つである。 我々は,BusyBoxファームウェアバイナリを削除した上で,進化を意識したクロスアーキテクチャ検索フレームワークであるEvoPatch-IoTを提案する。 57の歴史的バージョン、270の未切断バイナリ、285の削除バイナリ、130のソースリリースから大規模なBusyBoxベンチマークを構築し、1,550,752の関数シンボル行、1,290,369の分析関数行、そして155,845の高信頼のストリップ・トゥ・ストリップマッチを生成した。
  論文  参考訳（メタデータ） (2026-04-21T14:18:44Z)
• PLUME: Building a Network-Native Foundation Model for Wireless Traces via Protocol-Aware Tokenization [0.9558392439655014]
  Plumeは、構造化PDML切断から学ぶ802.11トレースのコンパクト基盤モデルである。 プロトコル対応トークン化器は、ディセクタフィールドツリーに沿って分割し、タイミングのギャップトークンを出力し、識別子を正規化し、BPEよりも6.2倍短いシーケンスを生成する。
  論文  参考訳（メタデータ） (2026-03-13T23:14:43Z)
• Hardware Co-Design Scaling Laws via Roofline Modelling for On-Device LLMs [49.99513618431772]
  本稿では,モデル精度と推論性能を捉えるハードウェア共同設計法を提案する。 我々はNVIDIA Jetson Orin上で1,942の候補アーキテクチャを実証的に評価した。 我々のアーキテクチャはWikiText-2で19.42%低いパープレキシティを実現している。
  論文  参考訳（メタデータ） (2026-02-10T23:51:00Z)
• SPADE: A SIMD Posit-enabled compute engine for Accelerating DNN Efficiency [0.12314765641075437]
  本研究では,多精度SIMD Posit-based multiplyaccumulate (MAC)アーキテクチャを統一したSPADEを提案する。 従来の単精度や浮動小数点SIMD MACとは異なり、SPADEはレギュラー対応のレーン融合SIMD Positデータパスを導入している。 Xilinx Virtex-7上のFPGA実装では、Posit (8,0) の45.13%のLUTと80%のスライス削減、Posit (16,1) と Posit (32,2) の最大28.44%と17.47%の改善がある。
  論文  参考訳（メタデータ） (2026-01-24T03:38:11Z)
• Cross-architecture universal feature coding via distribution alignment [88.73189953617594]
  クロスアーキテクチャユニバーサル特徴符号化(CAUFC)という新しい研究課題を導入する。 まず,CNN と Transformer が一貫した2次元トークン形式に特徴付けるフォーマットアライメント手法を設計し,また,トランケーションと正規化によって統計分布を調和させる特徴値アライメント手法を提案する。 本稿では,CAUFCを最初に研究する試みとして,画像分類作業における手法の評価を行い,本手法がアーキテクチャ固有のベースラインに比べて高いレート精度のトレードオフを実現することを示す。
  論文  参考訳（メタデータ） (2025-06-15T06:14:02Z)
• Exploring Diffusion Transformer Designs via Grafting [82.91123758506876]
  計算予算の少ない新しいアーキテクチャを実現するために,事前に訓練された拡散変換器(DiT)を編集する簡単な手法であるグラフト方式を提案する。 演算子置換からアーキテクチャ再構成に至るまで,事前訓練したDiTをグラフトすることで,新しい拡散モデルの設計を探索できることが示されている。
  論文  参考訳（メタデータ） (2025-06-05T17:59:40Z)
• Towards Sequence Modeling Alignment between Tokenizer and Autoregressive Model [69.79418000132995]
  AliTokはトークンシーケンスの依存性構造を変更する新しいアラインド・トークンライザである。 AliTokは177Mパラメータしか持たない標準的なデコーダのみの自己回帰モデルで、ImageNet-256ベンチマークで1.44のgFIDと319.5のISを達成している。
  論文  参考訳（メタデータ） (2025-06-05T17:45:10Z)
• ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders [104.05133094625137]
  完全畳み込み型マスク付きオートエンコーダフレームワークと,新たなグローバル応答正規化層を提案する。 この自己教師付き学習技術とアーキテクチャ改善の共設計により、純粋なConvNetの性能を大幅に向上させるConvNeXt V2と呼ばれる新しいモデルファミリが生まれる。
  論文  参考訳（メタデータ） (2023-01-02T18:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。