論文の概要: Classification of Home Network Problems with Transformers
- arxiv url: http://arxiv.org/abs/2312.01445v1
- Date: Sun, 3 Dec 2023 16:27:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 17:19:47.961475
- Title: Classification of Home Network Problems with Transformers
- Title(参考訳): 変圧器によるホームネットワーク問題の分類
- Authors: Jeremias D\"otterl, Zahra Hemmati Fard
- Abstract要約: 本稿では,ping, dig,ipといったネットワークツールの生のテキスト出力に基づいて,10の共通ホームネットワーク問題を識別できるモデルを提案する。
ディープラーニングモデルは、ツール出力をトークンシーケンスに分割するために、特定の事前トークン化器を備えたエンコーダのみのトランスフォーマーアーキテクチャを使用する。
本モデルでは,ホームネットワークにおけるトランスフォーマーに基づく問題分類の可能性を示すとともに,高い精度を実現する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a classifier that can identify ten common home network problems
based on the raw textual output of networking tools such as ping, dig, and ip.
Our deep learning model uses an encoder-only transformer architecture with a
particular pre-tokenizer that we propose for splitting the tool output into
token sequences. The use of transformers distinguishes our approach from
related work on network problem classification, which still primarily relies on
non-deep-learning methods. Our model achieves high accuracy in our experiments,
demonstrating the high potential of transformer-based problem classification
for the home network.
- Abstract(参考訳): 本稿では,ping, dig,ipといったネットワークツールのテキスト出力に基づいて,10の共通ホームネットワーク問題を識別できる分類器を提案する。
当社のディープラーニングモデルでは,ツール出力をトークンシーケンスに分割するために,特定のプリトケナライザを備えたエンコーダのみのトランスフォーマーアーキテクチャを用いています。
トランスフォーマーの使用は、ネットワーク問題分類に関する関連する作業と我々のアプローチを区別する。
本モデルは,本実験で高い精度を達成し,ホームネットワークにおけるトランスフォーマベース問題分類の可能性を示す。
関連論文リスト
- Training towards significance with the decorrelated event classifier transformer neural network [0.0]
自然言語処理では、主要なニューラルネットワークアーキテクチャの1つがトランスフォーマーである。
この訓練されたネットワークは、強化された決定木やフィードフォワードネットワークよりも優れた性能を発揮することが判明した。
論文 参考訳(メタデータ) (2023-12-31T08:57:29Z) - Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as
an Alternative to Attention Layers in Transformers [5.356051655680145]
本研究は,従来のトランスフォーマーモデルにおけるアテンション機構の動作を模倣するために,標準の浅層フィードフォワードネットワークを用いることの有効性について分析した。
我々はトランスフォーマーの注意機構の重要な要素を簡単なフィードフォワードネットワークで置き換え、知識蒸留により元のコンポーネントを用いて訓練する。
IWSLT 2017データセットで実施した実験では,これらの“アテンションレストランスフォーマー(attentionless Transformers)”の能力が,オリジナルのアーキテクチャのパフォーマンスに匹敵することを示した。
論文 参考訳(メタデータ) (2023-11-17T16:58:52Z) - Centered Self-Attention Layers [89.21791761168032]
変圧器の自己保持機構とグラフニューラルネットワークのメッセージ通過機構を繰り返し適用する。
我々は、このアプリケーションが必然的に、より深い層での同様の表現に過剰なスムーシングをもたらすことを示す。
これらの機構の集約演算子に補正項を提示する。
論文 参考訳(メタデータ) (2023-06-02T15:19:08Z) - Deep Transformers without Shortcuts: Modifying Self-attention for
Faithful Signal Propagation [105.22961467028234]
ディープニューラルネットワーク(DNN)のトレーニングにおいて,スキップ接続と正規化レイヤはユビキタスである
Deep Kernel Shapingのような最近のアプローチは、それらへの依存を減らすために進歩しました。
しかし、これらのアプローチは変換器に存在する自己注意層とは相容れない。
論文 参考訳(メタデータ) (2023-02-20T21:26:25Z) - Systematic Generalization and Emergent Structures in Transformers
Trained on Structured Tasks [6.525090891505941]
我々は、因果変換器が、コピー、ソート、階層的な構成を含む一連のアルゴリズムタスクを実行する方法を示す。
両層変換器は多層問題に対する一般化可能な解法を学習し,系統的タスク分解の兆候を現示する。
これらの結果は、トランスフォーマーモデルが複雑な決定を再利用可能なマルチレベルポリシーに分解する方法について、重要な洞察を与えてくれる。
論文 参考訳(メタデータ) (2022-10-02T00:46:36Z) - Unveiling Transformers with LEGO: a synthetic reasoning task [23.535488809197787]
我々は、トランスフォーマーアーキテクチャが推論の連鎖に従うことを学ぶ方法について研究する。
一部のデータ構造では、訓練されたトランスフォーマーは、推論の連鎖に従う"ショートカット"ソリューションを見つける。
このようなショートカットが適切なアーキテクチャ修正やデータ準備によって防止できることが分かりました。
論文 参考訳(メタデータ) (2022-06-09T06:30:17Z) - Rethinking Skip Connection with Layer Normalization in Transformers and
ResNets [49.87919454950763]
スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。
本研究では,スキップ接続の有効性におけるスケール要因について検討する。
論文 参考訳(メタデータ) (2021-05-15T11:44:49Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳(メタデータ) (2021-03-22T18:00:13Z) - DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。
遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。
画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
論文 参考訳(メタデータ) (2020-03-30T17:59:18Z) - Robustness Verification for Transformers [165.25112192811764]
我々はトランスフォーマーのための最初のロバスト性検証アルゴリズムを開発した。
提案手法で計算したロバスト性境界は, 素粒子間境界伝播法で計算したロバスト性境界よりもかなり厳密である。
これらの境界はまた、感情分析における異なる単語の重要性を常に反映しているトランスフォーマーの解釈にも光を当てている。
論文 参考訳(メタデータ) (2020-02-16T17:16:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。