論文の概要: Robust Representation Learning for Spiking Neural Networks based on Conditional Information Bottleneck
- arxiv url: http://arxiv.org/abs/2610.28110v1
- Date: Tue, 20 Oct 2026 12:21:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.80398
- Title: Robust Representation Learning for Spiking Neural Networks based on Conditional Information Bottleneck
- Title（参考訳）: 条件付き情報ボトルネックに基づくスパイキングニューラルネットワークのロバスト表現学習
- Abstract要約: スパイキングニューラルネットワーク(SNN)は低消費電力のニューロモルフィックコンピューティングに大きな可能性を示している。
SNNは、従来のクロスエントロピー損失で訓練された標準SNNによって学習された入力固有の隠れ表現に弱いままである。
本研究では,SNNのコンディショナル・インフォメーション・ブートネックに基づく頑健な学習目標であるSCIBを提案する。
- 参考スコア（独自算出の注目度）: 4.337218940129669
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNNs) have shown great potential for low-power neuromorphic computing due to their event-driven processing and spatiotemporal sparsity, but they remain vulnerable to input perturbations, hardware-intrinsic noise, and adversarial attacks in real-world deployment. We attribute this vulnerability partly to input-specific hidden representations learned by standard SNNs trained with conventional cross-entropy loss, as our information-plane analysis empirically shows that substantial input-related information can still be retained after label-predictive information becomes stable. To address this issue, we propose SCIB, a simple yet effective robust learning objective for SNNs based on the Conditional Information Bottleneck. Different from conventional variational IB methods, SCIB replaces the mutual information compression term $I(X;S)$ with the conditional mutual information $I(X;S|Y)$ and derives a tractable variational upper bound. Moreover, it introduces a learnable class-conditional prior instead of a label-agnostic isotropic Gaussian prior, improving the expressiveness of variational compression and encouraging class-structured representations when combined with the supervised classification objective. Systematic experiments on Fashion-MNIST, CIFAR-10, and CIFAR-100 under external environmental noise, neuromorphic hardware noise, and adversarial attacks show that SCIB improves robustness over standard SNNs and IB-based baselines under most evaluated noise conditions, improves adversarial accuracy under the evaluated attacks without using adversarial training, and reduces the SynOps-based single-sample inference energy consumption by 24.9% relative to an unconstrained SNN baseline.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、イベント駆動処理と時空間スペーサ性により、低消費電力のニューロモルフィックコンピューティングに大きな可能性を示しているが、実際のデプロイメントにおいて、入力の摂動、ハードウェア固有のノイズ、敵の攻撃に弱いままである。
この脆弱性の一部は、従来のクロスエントロピー損失で訓練された標準SNNが学習した入力固有の隠れ表現によるもので、我々の情報プレーン分析は、ラベル予測情報が安定していれば、かなりの入力関連情報を保持できることを実証的に示している。
この問題に対処するために,条件付きインフォメーション・ブートネックに基づくSNNのための,シンプルで効果的な頑健な学習目標であるSCIBを提案する。
従来の変分IB法とは異なり、SCIBは、相互情報圧縮項$I(X;S)$を条件付き相互情報$I(X;S|Y)$に置き換え、トラクタブルな変分上界を導出する。
さらに,ラベルに依存しない等方性ガウスの先行よりも,学習可能なクラス条件を導入し,変動圧縮の表現性を向上し,教師付き分類目的と組み合わせてクラス構造表現を奨励する。
Fashion-MNIST, CIFAR-10, CIFAR-100の外部環境ノイズ, ニューロモルフィックハードウェアノイズ, および敵攻撃によるシステム実験により、SCIBは、最も評価されたノイズ条件下で標準SNNやIBベースラインよりも堅牢性を向上させ、評価された攻撃下では、敵のトレーニングを使わずに敵の精度を向上し、SynOpsベースの単サンプル推論エネルギー消費を24.9%削減することを示した。
関連論文リスト
- rSDNet: Unified Robust Neural Learning against Label Noise and Adversarial Attacks [1.2891210250935143]
ニューラルネットワークのトレーニングを最小分散推定問題として定式化する。
本稿では,$S$-divergencesの一般クラスに基づく頑健な学習アルゴリズムであるrSDNetを紹介する。
この結果から,不均一なデータ汚染下での頑健なニューラルネットワーク分類の原則的,効果的な枠組みとして,最小分散学習が注目された。
論文 参考訳（メタデータ） (2026-03-18T11:47:46Z) - Neurosymbolic Artificial Intelligence for Robust Network Intrusion Detection: From Scratch to Transfer Learning [5.9606188355072725]
我々は、NIDSにおける堅牢性、解釈可能性、一般化を高めるために、ニューロシンボリックAIフレームワークであるODXUを拡張した。
我々は、異なるデータセット上で事前学習されたODXUモデルの再利用を可能にする転写学習戦略を開発する。
論文 参考訳（メタデータ） (2025-06-04T21:15:30Z) - Towards Robust Spiking Neural Networks:Mitigating Heterogeneous Training Vulnerability via Dominant Eigencomponent Projection [21.5491519186604]
スパイクニューラルネットワーク(SNN)は離散的なスパイクを通じて情報を処理し、極めて低いエネルギーレベルで操作することができる。
実験では、SNNがメインストリームのメソッドを使ってトレーニングされている場合、直接エンコーディングと時間によるバックプロパゲーションが組み合わさると、重大な脆弱性が明らかになる。
論文 参考訳（メタデータ） (2025-05-16T11:29:49Z) - xAI-Drop: Don't Use What You Cannot Explain [23.33477769275026]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための主要なパラダイムとして登場した。
GNNは、一般化の欠如や解釈可能性の低下といった課題に直面している。
トポロジカルレベル降下正則化器であるxAI-Dropを導入する。
論文 参考訳（メタデータ） (2024-07-29T14:53:45Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - Learning Robust Variational Information Bottleneck with Reference [12.743882133781598]
変動情報ボトルネック(VIB)を訓練する新しいアプローチを提案し、その堅牢性を敵対的な摂動に改善する。
事前に訓練された参照ニューラルネットワークから得られるソフトラベルを用いて、トレーニングフェーズの分類クラス情報を洗練します。
論文 参考訳（メタデータ） (2021-04-29T14:46:09Z) - On the benefits of robust models in modulation recognition [53.391095789289736]
畳み込み層を用いたディープニューラルネットワーク(DNN)は、通信における多くのタスクにおいて最先端である。
画像分類のような他の領域では、DNNは敵の摂動に弱いことが示されている。
最新モデルの堅牢性をテストするための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-27T19:58:06Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳（メタデータ） (2020-12-03T10:17:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。