論文の概要: Beyond Importance: Interchange-Sobol Sensitivity Reveals Task-Specific Content Channels in Transformer Components

• arxiv url: http://arxiv.org/abs/2606.20678v1
• Date: Fri, 12 Jun 2026 23:31:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:12:47.815135
• Title: Beyond Importance: Interchange-Sobol Sensitivity Reveals Task-Specific Content Channels in Transformer Components
• Title（参考訳）: Interchange-Sobol SensitivityがTransformerコンポーネントのタスク特化コンテンツチャネルを公開
• Abstract要約: 同一コンポーネント上でのアクティベーション置換とゼロアブレーションを比較する,ペア・インターベンション・フレームワークであるemphInterchange-Group Sobol Decomposition (IGSD)を紹介する。 IGSD は GPT-2 small と Qwen2.5-1.5B の両方において、標準重要度を過小評価している。
• 参考スコア（独自算出の注目度）: 13.00087299369651
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mechanistic interpretability methods summarize a transformer component by a single importance score, conflating two distinct roles: a component may matter because it transports task-relevant content, or because the forward computation degrades when its contribution is removed. We introduce \emph{Interchange-Group Sobol Decomposition} (IGSD), a paired-intervention framework that compares matched activation replacement with zero ablation on the same component, estimates two Sobol-style variance indices, and uses their signed difference to separate the two roles, with intervention validity monitored by a symmetric off-manifold diagnostic $\widehat{\mathrm{ST}}>1$. In factual recall, IGSD identifies an early-layer content channel in both GPT-2 small and Qwen2.5-1.5B that standard importance methods underestimate. A controlled subject and relation donor design shows that the early channel transports relation-frame content while late attention transports subject-retrieval content, refining at head granularity to the known $\mathrm{Attn}_{L9H8}$ head. Late-layer clamping confirms that the early signal is expressed through downstream transformations rather than residual pass-through. These results show that replacement and deletion are not interchangeable controls and their divergence provides a practical statistical diagnostic for content transport in transformer components.
• Abstract（参考訳）: 機械的解釈可能性法は、トランスフォーマーコンポーネントを単一の重要なスコアで要約し、2つの異なる役割を融合させる。 本稿では、同一成分上でのアクティベーション置換とゼロアブレーションを比較し、ソボスタイルの分散指標を2つ推定し、それらの符号付き差分を用いて2つの役割を分離し、対称なオフマンフォールド診断$\widehat{\mathrm{ST}}>1$で監視される介入の妥当性を示す、ペア・インターベンション・フレームワークである \emph{Interchange-Group Sobol Decomposition} (IGSD)を紹介する。 IGSD は GPT-2 small と Qwen2.5-1.5B の両方において、標準的重要度を過小評価している。 制御された被写体と関係ドナーの設計により、初期チャネルは関係フレームの内容を伝達し、遅延アテンションは被写体検索の内容を伝達し、既知の$\mathrm{Attn}_{L9H8}$ヘッドに頭粒度を精製することを示した。 後期層クラッピングは、初期信号が残差パススルーではなく下流変換によって表現されることを確認する。 これらの結果は、置換と削除は交換可能な制御ではないことを示し、それらの分岐はトランスフォーマーコンポーネントにおけるコンテンツ転送の実用的な統計的診断を提供する。

関連論文リスト

• Tracing distinguishability through transformer processing with stochastic LayerNorm [0.0]
  表現量を与え、類似性を統計的識別可能性に変換する。 我々は、LayerNormへのライトタッチ修正により、事前訓練されたトランスフォーマーでこのアイデアを実現した。 これらの結果は、トランス計算における機能接地レンズとしての識別可能性を確立する。
  論文  参考訳（メタデータ） (2026-08-31T12:57:38Z)
• A Commutator Framework for Selective Spectral Alignment in Deep Neural Networks [0.0]
  学習した特徴量がどのように組織化され、輸送され、選択的に深層ニューラルネットワークに整列されるかを記述する、有限幅の幾何学的枠組みを開発する。 重み付き共分散、ゲート、後方感度の不適合性は、通勤者の3つのファミリーによって定量化される。 我々は、スペクトルギャップ、プロジェクター進化、安定化推定を確立し、明示的な幾何学的誤差境界あるいは本質的な減衰仮定の下で崩壊する条件付きリアプノフの原理を定式化する。
  論文  参考訳（メタデータ） (2026-08-24T07:42:16Z)
• Dual-Branch Cross-Projection Debiasing through Diffusion-based Disentanglement [66.67463557274358]
  バイアス付きデータセットに基づいてトレーニングされた基礎モデルは、しばしばターゲットラベルと非因果属性の間の急激な相関に依存する。 信頼誘導概念マイニング(CBCM:Confidence-guided Concept Mining)を導入し,属性アノテーションを使わずに信頼性の高いスプリアス属性を同定する。 本稿では,目標と突発的な表現を2つのブランチに分離するプロンプトチューニングフレームワークであるDual-branch Cross-projection Debiasing (DCD)を提案する。
  論文  参考訳（メタデータ） (2026-06-23T05:28:47Z)
• scHelix: Asymmetric Dual-Stream Integration via Explicit Gene-Level Disentanglement [84.88065404629079]
  scHelixは、機能がどのように処理されるかを根本的に変更するデータセット適応フレームワークである。 scHelixは、停止段階のグラフキャッシュを備えたデュアルストリームスパース拡散エンコーダを使用する。 scHelixは最先端のメソッドより優れています。
  論文  参考訳（メタデータ） (2026-05-18T15:55:13Z)
• Dual Path Attribution: Efficient Attribution for SwiGLU-Transformers through Layer-Wise Target Propagation [5.186807923082922]
  本稿では,凍結変圧器上の情報の流れを,一方の前方および一方の後方通過で忠実に追跡する新しいフレームワークであるDual Path Attribution(DPA)を紹介する。 DPAは、既存のベースラインと比較して、最先端の忠実さと前例のない効率を達成する。
  論文  参考訳（メタデータ） (2026-03-20T08:28:24Z)
• Sequential Transport for Causal Mediation Analysis [4.175654562922818]
  シーケンシャルトランスポート(ST)は、最適なトランスポート(OT)とメディエータ指向非環状グラフ(DAG)を組み合わせた媒介分析のための分散フレームワークである 数値メディエータでは、STは条件付きCDF/量子推定器に基づいて単調(条件付き)OTマップを使用する。 標準正則性と支持条件下では, 推定輸送マップの整合性と, 誘導された単位レベルの分解から, 直接的および間接的効果への整合性を確立する。
  論文  参考訳（メタデータ） (2026-03-16T12:18:35Z)
• Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
  安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。 本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。 9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
  論文  参考訳（メタデータ） (2026-02-09T22:48:30Z)
• SEIS: Subspace-based Equivariance and Invariance Scores for Neural Representations [1.2431372110088466]
  幾何学的変換の下で階層的特徴表現を解析するためのサブスペースメトリックであるSEISを紹介する。 合成検証は、SEISが既知の変換を正しく回復することを確認する。 マルチタスク学習は、共有エンコーダにおける両方の特性の相乗効果を誘導することを示す。
  論文  参考訳（メタデータ） (2026-02-03T22:38:08Z)
• Disentangled Feature Importance [0.0]
  本稿では,古典的$R2$分解の非パラメトリックな一般化であるemphDisentangled Feature Importance (DFI)を紹介する。 DFIは, 相関歪みを排除したトランスポートマップを用いて, 独立潜伏変数に相関した特徴を持つ。 DFIは、潜在加法モデルに対する総予測変数に匹敵する重要度スコアの原理的な分解を提供する。
  論文  参考訳（メタデータ） (2025-06-30T20:54:48Z)
• DAPE V2: Process Attention Score as Feature Map for Length Extrapolation [63.87956583202729]
  我々は特徴写像としての注意を概念化し、コンピュータビジョンにおける処理方法を模倣するために畳み込み演算子を適用した。 様々な注意関係のモデルに適応できる新しい洞察は、現在のTransformerアーキテクチャがさらなる進化の可能性があることを示している。
  論文  参考訳（メタデータ） (2024-10-07T07:21:49Z)
• Cost Aggregation with 4D Convolutional Swin Transformer for Few-Shot Segmentation [58.4650849317274]
  Volumetric Aggregation with Transformers (VAT)は、数ショットセグメンテーションのためのコスト集約ネットワークである。 VATは、コスト集約が中心的な役割を果たすセマンティック対応のための最先端のパフォーマンスも達成する。
  論文  参考訳（メタデータ） (2022-07-22T04:10:30Z)
• Weakly-Supervised Cross-Domain Adaptation for Endoscopic Lesions Segmentation [79.58311369297635]
  異なるデータセットにまたがるトランスファー可能なドメイン不変知識を探索できる,新しい弱い教師付き病巣移動フレームワークを提案する。 wasserstein quantified transferability frameworkは、広い範囲の転送可能なコンテキスト依存性を強調するために開発されている。 新規な自己監督型擬似ラベル生成器は、送信困難かつ転送容易なターゲットサンプルの両方に対して、確実な擬似ピクセルラベルを等しく提供するように設計されている。
  論文  参考訳（メタデータ） (2020-12-08T02:26:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。