論文の概要: SpikeLogBERT: Energy-Efficient Log Parsing Using Spiking Transformer Networks
- arxiv url: http://arxiv.org/abs/2606.31781v1
- Date: Tue, 30 Jun 2026 14:59:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.278377
- Title: SpikeLogBERT: Energy-Efficient Log Parsing Using Spiking Transformer Networks
- Title(参考訳): SpikeLogBERT:スパイキングトランスフォーマーネットワークを用いたエネルギー効率の良いログ解析
- Abstract要約: SpikeLogBERTは、エネルギー効率のよいログ解析のためのスパイクニューラルネットワークフレームワークである。
提案モデルは,BERT教師モデルからの知識蒸留とスパイキングトランスフォーマーアーキテクチャを統合した。
HDFSデータセットの実験では、SpikeLogBERTがANNベースのニューラルログ解析モデルを上回っていることが示されている。
- 参考スコア(独自算出の注目度): 0.26097841018267615
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Log parsing is a fundamental step in automated log analysis, transforming raw system logs into structured event templates for downstream tasks such as anomaly detection and system monitoring. Existing log parsing methods range from rule-based and clustering-based approaches to neural models that learn semantic representations from log messages. However, neural approaches typically rely on dense matrix multiplications, which can result in high computational cost and energy consumption. This paper presents SpikeLogBERT, a spiking neural network framework for energy-efficient log parsing. The proposed model integrates a spiking transformer architecture with knowledge distillation from a BERT teacher model, enabling spike-driven computation while preserving semantic representation capability. By leveraging sparse spike activations and event-driven processing, the number of active operations during inference can be significantly reduced. As an initial benchmark study, experiments on the HDFS dataset demonstrate that SpikeLogBERT outperforms ANN-based neural log parsing models with a parsing accuracy of 0.99997, while reducing estimated theoretical energy consumption by up to 62.6% under standard 45nm CMOS assumptions.
- Abstract(参考訳): ログ解析は、自動ログ解析の基本的なステップであり、生のシステムログを、異常検出やシステム監視といった下流タスクのための構造化イベントテンプレートに変換する。
既存のログ解析手法は、ルールベースのアプローチやクラスタリングベースのアプローチから、ログメッセージからセマンティック表現を学ぶニューラルネットワークモデルまで様々である。
しかし、ニューラルアプローチは一般的に密度の高い行列乗法に依存しており、高い計算コストとエネルギー消費をもたらす可能性がある。
本稿では,エネルギー効率のよいログ解析のためのスパイクニューラルネットワークフレームワークであるSpikeLogBERTを提案する。
提案モデルでは、スパイク変換器アーキテクチャとBERT教師モデルからの知識蒸留を統合し、意味表現能力を保ちながらスパイク駆動型計算を可能にする。
スパーススパイクアクティベーションとイベント駆動処理を利用することで、推論時のアクティブ操作数を著しく削減することができる。
最初のベンチマーク研究として、HDFSデータセットの実験では、SpikeLogBERTはANNベースのニューラルログ解析モデルより0.99997の精度で優れており、標準的な45nm CMOS仮定で推定された理論的エネルギー消費量を62.6%削減している。
関連論文リスト
- Efficient event-driven retrieval in high-capacity kernel Hopfield networks [0.0]
Kernel Logistic Regression (KLR) Hopfieldネットワークのような高容量の連想メモリモデルは、強力なストレージ能力を示しているが、一般的に計算コストのかかる同期更新に依存している。
適切に調整されたカーネルパラメータでは、逐次更新は同期力学と統計的に区別できないトラジェクトリを示す。
この非同期ネットワークは,古典的限界を超えた静的ランダムパターン機構において,P/N近似30ドルに近い経験的記憶能力を実現する。
論文 参考訳(メタデータ) (2026-05-07T10:21:18Z) - Efficient Memristive Spiking Neural Networks Architecture with Supervised In-Situ STDP Method [0.0]
時間的スパイクエンコーディングを備えたメムリスタベースのスパイキングニューラルネットワーク(SNN)は、超低エネルギー計算を可能にする。
本稿では,新しい教師付きin-situ学習アルゴリズムを用いて学習した回路レベルのメムリシブスパイクニューラルネットワーク(SNN)アーキテクチャを提案する。
論文 参考訳(メタデータ) (2025-07-28T17:09:48Z) - Accelerated Test-Time Scaling with Model-Free Speculative Sampling [58.69141724095398]
STAND(Stochastic Adaptive N-gram Drafting)は,新しいモデルフリーな投機的デコード手法である。
従来の自己回帰復号法と比較して,STANDは推論遅延を60~65%削減することを示した。
モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用できる。
論文 参考訳(メタデータ) (2025-06-05T07:31:18Z) - Continuous time recurrent neural networks: overview and application to
forecasting blood glucose in the intensive care unit [56.801856519460465]
連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。
重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
論文 参考訳(メタデータ) (2023-04-14T09:39:06Z) - Neural-prior stochastic block model [0.0]
我々は,コミュニティを,逆ではなくノード属性によって決定されるものとしてモデル化することを提案する。
本稿では,信念伝播と近似メッセージパッシングを組み合わせた統計物理に基づくアルゴリズムを提案する。
提案したモデルとアルゴリズムは理論とアルゴリズムのベンチマークとして利用できる。
論文 参考訳(メタデータ) (2023-03-17T14:14:54Z) - Latent Iterative Refinement for Modular Source Separation [44.78689915209527]
従来のソース分離アプローチは、すべてのデータを一度に利用できるように、ディープニューラルネットワークモデルをエンドツーエンドにトレーニングする。
我々は、トレーニングと推論の段階において、リソース効率を著しく向上させることができると論じる。
論文 参考訳(メタデータ) (2022-11-22T00:02:57Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling
and Design [68.1682448368636]
本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。
異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。
出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
論文 参考訳(メタデータ) (2022-03-29T21:18:47Z) - SignalNet: A Low Resolution Sinusoid Decomposition and Estimation
Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。
基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。
シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文 参考訳(メタデータ) (2021-06-10T04:21:20Z) - Multi-Sample Online Learning for Spiking Neural Networks based on
Generalized Expectation Maximization [42.125394498649015]
スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。
本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。
鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
論文 参考訳(メタデータ) (2021-02-05T16:39:42Z) - Closed Loop Neural-Symbolic Learning via Integrating Neural Perception,
Grammar Parsing, and Symbolic Reasoning [134.77207192945053]
従来の手法は強化学習アプローチを用いてニューラルシンボリックモデルを学ぶ。
我々は,脳神経知覚と記号的推論を橋渡しする前に,textbfgrammarモデルをテキストシンボリックとして導入する。
本稿では,トップダウンのヒューマンライクな学習手順を模倣して誤りを伝播する新しいtextbfback-searchアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-11T17:42:49Z) - Neural Network for Low-Memory IoT Devices and MNIST Image Recognition
Using Kernels Based on Logistic Map [0.0]
本研究ではロジスティックマッピング(LogNNet)に基づくフィルタを用いたニューラルネットワークを提案する。
LogNNetはフィードフォワードネットワーク構造を持っているが、貯水池ニューラルネットワークの特性を持っている。
提案したニューラルネットワークは、限られたメモリを持つ制限されたデバイスに基づく人工知能の実装に使用できる。
論文 参考訳(メタデータ) (2020-06-04T12:55:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。