論文の概要: Classifying Sequences of Extreme Length with Constant Memory Applied to Malware Detection

• arxiv url: http://arxiv.org/abs/2012.09390v1
• Date: Thu, 17 Dec 2020 04:45:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-05-02 07:42:25.123811
• Title: Classifying Sequences of Extreme Length with Constant Memory Applied to Malware Detection
• Title（参考訳）: マルウェア検出への定記憶による極長の分類
• Authors: Edward Raff, William Fleshman, Richard Zak, Hyrum S. Anderson, Bobby Filar, Mark McLean
• Abstract要約: MalConvは、最大2000,000ドルのステップを処理できる畳み込みニューラルネットワークである。 我々は、必要なメモリをシーケンス長$t$に不変にする時間的maxプーリングの新しいアプローチを開発した。 これにより、MalConv $116times$ メモリ効率が向上し、オリジナルのデータセットでトレーニングするのに最大25.8times$ が高速になる。
• 参考スコア（独自算出の注目度）: 18.34421905502784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works within machine learning have been tackling inputs of ever-increasing size, with cybersecurity presenting sequence classification problems of particularly extreme lengths. In the case of Windows executable malware detection, inputs may exceed $100$ MB, which corresponds to a time series with $T=100,000,000$ steps. To date, the closest approach to handling such a task is MalConv, a convolutional neural network capable of processing up to $T=2,000,000$ steps. The $\mathcal{O}(T)$ memory of CNNs has prevented further application of CNNs to malware. In this work, we develop a new approach to temporal max pooling that makes the required memory invariant to the sequence length $T$. This makes MalConv $116\times$ more memory efficient, and up to $25.8\times$ faster to train on its original dataset, while removing the input length restrictions to MalConv. We re-invest these gains into improving the MalConv architecture by developing a new Global Channel Gating design, giving us an attention mechanism capable of learning feature interactions across 100 million time steps in an efficient manner, a capability lacked by the original MalConv CNN. Our implementation can be found at https://github.com/NeuromorphicComputationResearchProgram/MalConv2
• Abstract（参考訳）: 機械学習における最近の研究は、特に極端な長さのシーケンス分類問題をサイバーセキュリティが提示している。 Windows実行可能マルウェア検出の場合、入力は100ドル MB を超え、これは$T=100,000,000 ステップの時系列に対応する。 現在、そのようなタスクを処理するための最も近いアプローチは、最大2000,000ドルのステップを処理できる畳み込みニューラルネットワークであるMalConvである。 CNNの$\mathcal{O}(T)$メモリは、CNNのマルウェアへのさらなる適用を妨げている。 本研究では,時間的最大値プーリングに対する新たなアプローチを開発し,必要なメモリを列長$T$に不変にする。 これにより、MalConv $116\times$ メモリ効率が向上し、25.8\times$ のトレーニング速度が向上し、MalConvへの入力長制限が取り除かれた。 我々は,MalConvアーキテクチャを改良するために,新たなGlobal Channel Gating設計を導入し,従来のMalConv CNNに欠ける機能である1億のタイムステップにわたる機能インタラクションを効率的に学習する機構について検討した。 私たちの実装はhttps://github.com/NeuromorphicComputationResearchProgram/MalConv2で確認できます。

関連論文リスト

• Efficient Long-Decoding Inference with Reasoning-Aware Attention Sparsity [14.409253716114213]
  推論タスクを解くには、時間とメモリ消費の$O(N)を発生させる(思考の)長いデコードチェーンを必要とすることが多い。 我々はRaaSという新しいアルゴリズムを提案し、マイルストーントークンを識別し、保持するが、それはもはや必要なくなるまでである。 このパターンに基づいて,$O(L)$時間と$O(L)$メモリの複雑さで精度の高いRaaSというアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-02-16T14:28:52Z)
• Efficient k-Nearest-Neighbor Machine Translation with Dynamic Retrieval [49.825549809652436]
  $k$NN-MTはドメイン固有の翻訳知識を保持するために外部データストアを構築する。 適応検索(k$NN-MT-AR)は、$lambda$を動的に推定し、$lambda$が固定しきい値以下であれば$k$NN検索をスキップする。 本稿では,バニラ$k$NN-MTを大幅に拡張した動的検索(k$NN-MT-DR)を提案する。
  論文  参考訳（メタデータ） (2024-06-10T07:36:55Z)
• Scalable 3D Registration via Truncated Entry-wise Absolute Residuals [65.04922801371363]
  3ドルの登録アプローチでは、1000万ドル(107ドル)以上のポイントペアを、99%以上のランダムなアウトレイアで処理することができる。 我々はこの手法をTEARと呼び、Trncated Entry-wise Absolute Residualsを演算するoutlier-robust損失を最小限にする。
  論文  参考訳（メタデータ） (2024-04-01T04:43:39Z)
• One Pass Streaming Algorithm for Super Long Token Attention Approximation in Sublinear Space [11.735802740426294]
  注意計算は、$O(n2)$の時間複雑性と$O(n2)$の空間複雑性を同時に行う。 ストリーミング方式で1パスのデータのみを読み取る新しいアルゴリズムを導入する。 特に,本アルゴリズムは,超長期トークンを用いたメモリ効率の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-11-24T18:35:00Z)
• Recasting Self-Attention with Holographic Reduced Representations [31.89878931813593]
  マルウェア検出の問題に触発された我々は,ホログラフィックリダクション(HRR)のニューロシンボリックアプローチを用いて,自己アテンションを再キャストする。 我々は、 $mathcalO(T H log H)$ time complexity, $mathcalO(T H)$ space complexity, and convergence in 10times$ less epochs などの利点を得る。 我々のHrrformerはLRAベンチマークでほぼ最先端の精度を実現しています。
  論文  参考訳（メタデータ） (2023-05-31T03:42:38Z)
• Privacy-Preserving CNN Training with Transfer Learning: Multiclass Logistic Regression [0.0]
  本稿では,ただのホモモルフィック暗号化(HE)技術に基づくプライバシー保護型CNNトレーニングを実現するための実践的ソリューションを提案する。 私たちの知る限りでは、これはこのナットを突破する最初の試みであり、これまでこの目標を達成した作業はありませんでした。
  論文  参考訳（メタデータ） (2023-04-07T18:21:30Z)
• Simplifying and Understanding State Space Models with Diagonal Linear RNNs [56.33053691749856]
  本研究は、離散化ステップを解消し、バニラ対角線形RNNに基づくモデルを提案する。 概念的にはるかに単純であるにもかかわらず、$mathrmDLR$は以前提案したSSMと同じくらいのパフォーマンスを示す。 また、合成シーケンス・ツー・シーケンス・タスクのスイートによって、SSMとアテンションベースモデルの表現性も特徴付ける。
  論文  参考訳（メタデータ） (2022-12-01T18:53:06Z)
• Near-Optimal Regret Bounds for Multi-batch Reinforcement Learning [54.806166861456035]
  本研究では,有限水平マルコフ決定過程(MDP)によってモデル化されたエピソディック強化学習(RL)問題をバッチ数に制約を加えて検討する。 我々は,$tildeO(sqrtSAH3Kln (1/delta))$tildeO(cdot)をほぼ最適に後悔するアルゴリズムを設計し,$(S,A,H,K)$の対数項を$K$で隠蔽する。 技術的貢献は2つある: 1) 探索のためのほぼ最適設計スキーム
  論文  参考訳（メタデータ） (2022-10-15T09:22:22Z)
• Training Overparametrized Neural Networks in Sublinear Time [14.918404733024332]
  ディープラーニングには膨大な計算とエネルギーのコストが伴う。 探索木の小さな部分集合として、二分ニューラルネットワークの新しいサブセットを示し、それぞれが探索木のサブセット(Ds)に対応する。 我々はこの見解が深層ネットワーク(Ds)の分析解析にさらに応用できると考えている。
  論文  参考訳（メタデータ） (2022-08-09T02:29:42Z)
• Compressing 1D Time-Channel Separable Convolutions using Sparse Random Ternary Matrices [65.4388266814055]
  1次元時間チャネル分離可能な畳み込みの1x1-畳み込みを、定数でスパースな乱数三元行列で-1,0,+1$の重みで置き換える。 Google Speech Commands v1のコマンド認識のために、最新の精度を同じネットワークサイズで97.21%$から97.41%$に改善します。 librispeech上での音声認識では、トレーニングすべき重みの数は半分になり、浮動小数点ベースラインの単語誤り率の約1%を犠牲にします。
  論文  参考訳（メタデータ） (2021-03-31T15:09:20Z)
• Sparse R-CNN: End-to-End Object Detection with Learnable Proposals [77.9701193170127]
  Sparse R-CNNは、画像中の物体検出のための純粋にスパースな方法である。 最終的な予測は、最大でない処理後抑制なしで直接出力される。 われわれの研究が、物体検知器に先立って密集した慣例を再考することを願っている。
  論文  参考訳（メタデータ） (2020-11-25T00:01:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。