論文の概要: Refining Neural Activation Patterns for Layer-Level Concept Discovery in Neural Network-Based Receivers

• arxiv url: http://arxiv.org/abs/2505.15570v1
• Date: Wed, 21 May 2025 14:23:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.697652
• Title: Refining Neural Activation Patterns for Layer-Level Concept Discovery in Neural Network-Based Receivers
• Title（参考訳）: ニューラルネットワーク型受信機における層レベル概念発見のためのニューラルネットワーク活性化パターンの精細化
• Authors: Marko Tuononen, Duy Vu, Dani Korpi, Vesa Starck, Ville Hautamäki,
• Abstract要約: ニューラルネットワークの概念発見は、分散層全体のパターンを見渡すことで、個々のニューロンや人間の解釈可能な特徴をターゲットとすることが多い。 本研究では,階層レベルの概念を識別するために,全層活性化分布をクラスタ化するニューラルネットワーク活性化パターン(NAP)手法について検討する。 無線受信機モデルでは、異なる概念が出現せず、代わりにSignal-to-Noise Ratio (SNR) によって形作られた連続活性化多様体が観察された。
• 参考スコア（独自算出の注目度）: 5.668124846154998
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Concept discovery in neural networks often targets individual neurons or human-interpretable features, overlooking distributed layer-wide patterns. We study the Neural Activation Pattern (NAP) methodology, which clusters full-layer activation distributions to identify such layer-level concepts. Applied to visual object recognition and radio receiver models, we propose improved normalization, distribution estimation, distance metrics, and varied cluster selection. In the radio receiver model, distinct concepts did not emerge; instead, a continuous activation manifold shaped by Signal-to-Noise Ratio (SNR) was observed -- highlighting SNR as a key learned factor, consistent with classical receiver behavior and supporting physical plausibility. Our enhancements to NAP improved in-distribution vs. out-of-distribution separation, suggesting better generalization and indirectly validating clustering quality. These results underscore the importance of clustering design and activation manifolds in interpreting and troubleshooting neural network behavior.
• Abstract（参考訳）: ニューラルネットワークの概念発見は、分散層全体のパターンを見渡すことで、個々のニューロンや人間の解釈可能な特徴をターゲットとすることが多い。 本研究では,階層レベルの概念を識別するために,全層活性化分布をクラスタ化するニューラルネットワーク活性化パターン(NAP)手法について検討する。 視覚的物体認識と無線受信機モデルに適用し、正規化、分布推定、距離測定、クラスタ選択の改善を提案する。 無線受信機モデルでは、異なる概念が出現せず、代わりにSignal-to-Noise Ratio (SNR) によって形作られた連続活性化多様体が観察された。 NAPの強化により、分散と分散の分離が向上し、より一般化され、クラスタリングの品質が間接的に検証される可能性が示唆された。 これらの結果は、ニューラルネットワークの動作の解釈とトラブルシューティングにおいて、クラスタリング設計とアクティベーション多様体の重要性を強調している。

関連論文リスト

• Concept-Guided Interpretability via Neural Chunking [54.73787666584143]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 本稿では,ラベルの可利用性と次元性に基づいて,これら新たな実体を抽出する3つの手法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Learning local discrete features in explainable-by-design convolutional neural networks [0.0]
  本稿では,側方抑制機構に基づくCNN(Design-by-Design Convolutional Neural Network)を提案する。 このモデルは、残留または高密度のスキップ接続を持つ高精度CNNである予測器で構成されている。 観測を収集し,直接確率を計算することにより,隣接するレベルのモチーフ間の因果関係を説明することができる。
  論文  参考訳（メタデータ） (2024-10-31T18:39:41Z)
• Interpreting Deep Neural Network-Based Receiver Under Varying Signal-To-Noise Ratios [6.643082745560234]
  本稿では,畳み込みニューラルネットワークに基づくレシーバモデルに着目し,ニューラルネットワークを解釈する新しい手法を提案する。 この方法は、モデルのどのユニットまたはユニットが関心のチャネルパラメータに関する最も多く(または少なくとも)情報を含むかを特定する。 リンクレベルのシミュレーション実験では、最も(少なくとも)信号対雑音比の処理に寄与する単位を特定する方法の有効性が示されている。
  論文  参考訳（メタデータ） (2024-09-25T09:26:19Z)
• DCNN: Dual Cross-current Neural Networks Realized Using An Interactive Deep Learning Discriminator for Fine-grained Objects [48.65846477275723]
  本研究では、微細な画像分類の精度を向上させるために、新しい二重電流ニューラルネットワーク(DCNN)を提案する。 弱い教師付き学習バックボーンモデルを構築するための新しい特徴として、(a)異種データの抽出、(b)特徴マップの解像度の維持、(c)受容領域の拡大、(d)グローバル表現と局所特徴の融合などがある。
  論文  参考訳（メタデータ） (2024-05-07T07:51:28Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Spiking Generative Adversarial Networks With a Neural Network Discriminator: Local Training, Bayesian Models, and Continual Meta-Learning [31.78005607111787]
  スパイキングパターンを再現するためにニューラルネットワークを訓練することは、ニューロモルフィックコンピューティングにおける中心的な問題である。 この研究は、個々のスパイキング信号ではなく、スパイキング信号にマッチするようにSNNを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-11-02T17:20:54Z)
• Learning distinct features helps, provably [98.78384185493624]
  最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。 隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
  論文  参考訳（メタデータ） (2021-06-10T19:14:45Z)
• Generate and Verify: Semantically Meaningful Formal Analysis of Neural Network Perception Systems [2.2559617939136505]
  ニューラルネットワーク認識システムの精度を評価するためにテストが続けられている。 我々は、モデルが常に基底真理に結びついたある誤差内で推定を生成することを証明するために、ニューラルネットワークの検証を用いる。
  論文  参考訳（メタデータ） (2020-12-16T23:09:53Z)
• Neural Networks with Recurrent Generative Feedback [61.90658210112138]
  畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する 実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
  論文  参考訳（メタデータ） (2020-07-17T19:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。