論文の概要: Towards Explainability of SLMs by investigating Token Level Activation

• arxiv url: http://arxiv.org/abs/2605.22377v1
• Date: Thu, 21 May 2026 12:09:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:42.245829
• Title: Towards Explainability of SLMs by investigating Token Level Activation
• Title（参考訳）: トークンレベルアクティベーションによるSLMの説明可能性向上に向けて
• Authors: Sayantani Ghosh, Rajashik Datta, Amit Kumar Das, Amlan Chakrabarti,
• Abstract要約: 本研究では,BERTのレイヤ8における隠れ状態活性化強度を用いて,トークンレベルの表現重要性を定量化するフレームワークを提案する。 提案する Activation Flow Network (AFN) フレームワークは,レイヤ8隠れ表現のL2ノルムを用いて,Token Activation Strengthを演算する。 さらに、トークンを高活性化群と低活性化群に分割するしきい値に基づくアクティベーションバケットの定式化を導入する。
• 参考スコア（独自算出の注目度）: 2.7590644934977764
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based language models such as BERT having 110M+ parameters have revolutionized natural language understanding, yet their internal mechanisms remain largely opaque to researchers and practitioners. Traditional attention-based interpretability methods often emphasize structurally important but semantically weak tokens such as punctuation marks rather than meaningful semantic relationships. This work introduces a lightweight and model-agnostic framework for quantifying token-level representational importance using hidden-state activation strengths at Layer 8 of BERT. The proposed Activation Flow Network (AFN) framework computes Token Activation Strength using the L2 norm of Layer-8 hidden representations, enabling direct ranking of semantically salient tokens. The study further introduces a threshold-based activation bucket formulation that partitions tokens into HIGH-activation and LOW-activation groups using an empirical upper-quartile activation boundary. Experimental observations demonstrate that semantically meaningful content words consistently occupy the HIGH-activation bucket and dominate representational activation shifts, while structurally supportive tokens contribute comparatively less. The results suggest that Layer 8 acts as a critical semantic consolidation zone balancing structural and semantic information processing. By revealing how activation magnitudes concentrate around semantically informative tokens, this work provides an interpretable and computationally efficient alternative to attentioncentric analysis, contributing toward transforming BERT from a "black box" into a more transparent "glass box" model for natural language understanding.
• Abstract（参考訳）: 110M以上のパラメータを持つBERTのようなトランスフォーマーベースの言語モデルは、自然言語理解に革命をもたらしたが、その内部メカニズムは研究者や実践者にはほとんど不透明である。 伝統的な注意に基づく解釈可能性法は、意味的な意味的関係ではなく、句読点のような構造的に重要だが意味的に弱いトークンを強調することが多い。 本研究では,BERTのレイヤ8における隠れ状態活性化強度を用いて,トークンレベルの表現の重要性を定量化する,軽量でモデルに依存しないフレームワークを提案する。 提案した Activation Flow Network (AFN) フレームワークは,Layer-8 の隠蔽表現の L2 ノルムを用いて,Token Activation Strength を計算し,意味的に有意なトークンの直接ランク付けを可能にする。 さらに, トークンを高活性化群と低活性化群に分割するしきい値に基づくアクティベーションバケットの定式化について, 経験的上方アクティベーションバケット境界を用いた検討を行った。 実験により、意味的に意味のある内容語は、高い活性化バケットを一貫して占有し、表現的アクティベーションシフトを支配し、一方、構造的に支持されるトークンは比較的少ないことが示されている。 その結果,レイヤ8は構造情報処理と意味情報処理のバランスをとる重要なセマンティック・コンソリデーションゾーンとして機能することが示唆された。 アクティベーションの規模が意味的に情報的トークンにどのように集中するかを明らかにすることで、この研究は、注意中心の分析の解釈可能で計算的に効率的な代替手段を提供し、BERTを「ブラックボックス」からより透明な「グラスボックス」モデルに変換し、自然言語理解に寄与する。

関連論文リスト

• ATLAS: Agentic or Latent Visual Reasoning? One Word is Enough for Both [55.182037225013836]
  ATLASは、単一の独立した「ワード」を機能トークンと呼び、エージェント操作と潜在視覚推論ユニットの両方として機能するフレームワークである。 ATLASは、明確な解釈可能性を維持しながら、挑戦的なベンチマークで優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-14T17:59:55Z)
• Beyond Attention Magnitude: Leveraging Inter-layer Rank Consistency for Efficient Vision-Language-Action Models [75.27089289058613]
  textbfTIES(textbfTau-guided textbfInter-layer textbfEfficient textbfSelection)は、層間トークンランキングの整合性によって導かれる動的フレームワークである。 CogACT + SIMPLERベンチマークでは、TIESは平均成功率を6%改善し、トークン使用率を78%削減した。
  論文  参考訳（メタデータ） (2026-03-26T02:13:03Z)
• Enhancing Hyperspace Analogue to Language (HAL) Representations via Attention-Based Pooling for Text Classification [0.0]
  我々はHAL表現パイプラインに学習可能で温度スケールの付加的注意機構を開発する。 IMDB感情分析データセットを用いて,提案したアーキテクチャを評価する。
  論文  参考訳（メタデータ） (2026-03-20T17:25:09Z)
• Attention Illuminates LLM Reasoning: The Preplan-and-Anchor Rhythm Enables Fine-Grained Policy Optimization [56.083511902353365]
  強化学習(Reinforcement Learning, RL)は、一般的に、大規模言語モデルの全世代にわたって一様クレジットを適用する。 この研究は、LSMの内部論理を推論自体の機械的青写真として描画する特権基板として注意を向けている。 クリティカルノードに対するターゲットクレジット割り当てを動的に行う3つの新しいRL戦略を導入する。
  論文  参考訳（メタデータ） (2025-10-15T13:49:51Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• ATAS: Any-to-Any Self-Distillation for Enhanced Open-Vocabulary Dense Prediction [7.353998772647553]
  Any-to-Any Self-Distillation (ATAS)は、セマンティックコヒーレンスときめ細かいアライメントを同時に強化する新しいアプローチである。 ATASはオープン語彙オブジェクト検出とセマンティックセグメンテーションのベンチマークでかなりの性能向上を達成した。
  論文  参考訳（メタデータ） (2025-06-10T10:40:10Z)
• Abstract Counterfactuals for Language Model Agents [3.7540612510652176]
  抽象対物(Abstract Counterfactuals)は、環境内の行動と相互作用の高レベルな特徴を強調するフレームワークである。 トークンレベルと潜時空間の両方の介入を考慮して,テキストベースのゲームと対実テキスト生成の実験を行う。
  論文  参考訳（メタデータ） (2025-06-03T14:44:26Z)
• Semantic Equitable Clustering: A Simple and Effective Strategy for Clustering Vision Tokens [57.37893387775829]
  我々はSemantic Equitable Clustering(SEC)という,高速かつバランスの取れたクラスタリング手法を導入する。 SECは、グローバルなセマンティックな関連性に基づいてトークンを効率的かつ直接的な方法でクラスタ化する。 視覚言語コネクタとして機能する汎用視覚バックボーンであるSECViTを提案する。
  論文  参考訳（メタデータ） (2024-05-22T04:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。