論文の概要: Detection vs. Execution: Single-Bucket Probes Miss Half the Mamba-2 State Sink

• arxiv url: http://arxiv.org/abs/2606.00930v1
• Date: Sat, 30 May 2026 23:37:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.983833
• Title: Detection vs. Execution: Single-Bucket Probes Miss Half the Mamba-2 State Sink
• Title（参考訳）: 検出対実行:Mamba-2状態シンクの半分を欠いたシングルバケットプローブ
• Abstract要約: 単一バッファプローブがMamba-2の小さな実行層のみを復元することを示す。 マンバ-2では、状態シンクは2つの機能的ヘッドセットに分解される。
• 参考スコア（独自算出の注目度）: 8.403971471573607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mechanistic interpretability often assumes that probes identifying a representational signature also identify the circuit executing the corresponding computation. We show that this assumption can fail systematically in Mamba-2. Studying the state sink (disproportionate Delta-gate activation on boundary tokens, analogous to the attention sink), we find that single-bucket probes recover only a small execution layer while missing a much larger detection layer with the same representational signature. In Mamba-2, the state sink decomposes into two functional head sets. Single-bucket BOS-specialist heads (about 5% of heads at 2.7B) causally support both BOS-context and newline-target predictions across model scales and corpora. Dual heads (27-35% of heads, recovered by multi-class aggregation of the same probe) show stronger BOS-newline representational similarity but substantially weaker causal effects under ablation. Representational similarity does not imply functional equivalence. This distinction matters for downstream behaviour: ablating BOS-specialist heads collapses RULER NIAH retrieval accuracy from 1.00 to 0.00 at 1024 context length in both Mamba-1 2.8B and Mamba-2 2.7B, while size-matched complements preserve baseline performance. A random channel-bucketing control rules out substrate granularity alone, implicating Mamba-2's head-shared Delta projection. Probe-derived specialty can identify execution circuits; at coarse granularity the same probe also recovers detection circuits, and separating them requires class-conditional ablation rather than class-conditional cosine.
• Abstract（参考訳）: 機械的解釈可能性(Mechanistic interpretability)はしばしば、表現的シグネチャを識別するプローブが対応する計算を実行する回路を識別する。 この仮定はMamba-2で体系的に失敗する可能性がある。 状態シンク(アテンションシンクに類似したデルタゲートのアクティベート)を調べると、単一バッファプローブは小さな実行層のみを回復し、同じ表現シグネチャを持つはるかに大きな検出層を欠いていることがわかった。 マンバ-2では、状態シンクは2つの機能的ヘッドセットに分解される。 シングルバケットのBOSスペシャリストヘッド(約5%の2.7B)は、BOSコンテキストとニューラインターゲット予測の両方をモデルスケールとコーパスで因果的にサポートしている。 二重頭部 (27～35%) はBOS-ニューライン表現の類似性は強いが, アブレーション下での因果効果は著しく弱い。 表現的類似性は機能的同値性を意味するものではない。 Ablating BOS-specialist heads collapses RULER NIAH retrieve accuracy from 1.00 to 0.00 at 1024 context length in Mamba-1 2.8B and Mamba-2 2.7B, while size-matched complements keep baseline performance。 ランダムチャネルブッキング制御は、基板の粒度のみを制御し、マンバ-2の頭共有デルタ射影を暗示する。 粗い粒度では、同じプローブが検出回路を復元し、それらを分離するには、クラス条件のコサインよりもクラス条件のアブレーションが必要である。

関連論文リスト

• Selective Disclosure of Hidden Directives in Reasoning Models: Behavioral Asymmetry and Steering [0.9474649136535703]
  思考の連鎖(CoT)推論トレースは、AI監視のメカニズムとしてますます提案されている。 これは、CoTが与えられた命令に関係なく、モデルに何を指示するかを仮定する。 この仮定を2つの軸で検証する。
  論文  参考訳（メタデータ） (2026-08-29T05:50:54Z)
• Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability [51.56484100374058]
  機械論的解釈可能性プリミティブに対する最初の識別可能性定理を証明した。 スペクトルは、正当性分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
  論文  参考訳（メタデータ） (2026-08-10T19:42:01Z)
• Representational Depth of Evaluation Awareness Shifts With Scale in Open-Weight Language Models [0.0]
  評価コンテキストを認識するモデルは、その振る舞いを戦略的に変化させ、下流のベンチマークを解釈しにくくする。 Qwen 2.5, Gemma 2, およびLlama 3.2にまたがる11のモデルを用いて、表現深さの体系的な大きさ依存的なシフトを求める。 このことは,評価意識の強さだけでなく,ネットワーク上で最も線形に回復可能な場所でのスケール変化を示唆している。
  論文  参考訳（メタデータ） (2026-06-28T04:48:17Z)
• MambaADv2: Evolving Duality-enhanced State Space Model for Unsupervised Anomaly Detection [108.36437360254605]
  本稿では,マルチクラス非教師付き異常検出に適したフレームワークであるMambaADv2を提案する。 MambaADv2は、事前訓練されたエンコーダと、複数のスケールにわたるDuality-enhanced State Space (DSS)モジュールを備えたMambaインスパイアされたデコーダで構成される。 HSS(Hybrid State Space)ブロックの構造は、SSDベースのMambaラインに従って調整され、Mamba3スタイルの位置認識状態空間モデリングが組み込まれている。
  論文  参考訳（メタデータ） (2026-06-22T10:14:06Z)
• How Much Coordination Gain Is Real? A Paired Noise-Floor Protocol for Multi-Agent LLM Benchmarks [0.0]
  マルチエージェント調整の論文は、小さなベンチマークデルタを、1つのアーキテクチャがもう1つのアーキテクチャに勝っている証拠として報告している。 以前の質問は、APIインプットが設定等価である場合、2つのプロトコルが同じモデルとベンチマークでどれだけ異なるかである。 クロードハイク4.5とタウ2ベンチ小売では、クリーン等価コントラスト(no_coord vs. インターセプト)は2つのn=100種に+10ppと0ppの符号付きギャップを与える。
  論文  参考訳（メタデータ） (2026-06-15T07:25:11Z)
• A Unifying View of Attention Sinks: Two Algorithms, Two Solutions [11.81228217746692]
  我々は、視覚的に類似したシンクパターンが2つの異なるメカニズムを反映できることを示した。 頭がヌルトークンにルーティングすることで更新を抑圧し、iiブロードキャストし、シンクが集約してグローバル情報を再配布する。
  論文  参考訳（メタデータ） (2026-06-06T11:10:54Z)
• When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation [9.055086193088083]
  10大言語モデルによって駆動されるチェーン・オブ・シンクとReActエージェントに経験的現象を記述した。 平均的な摂動は、同等の厳しさのプレゼンテーション摂動よりも、最終的な答えを頻繁に変更する。
  論文  参考訳（メタデータ） (2026-05-25T15:57:11Z)
• Deep Minds and Shallow Probes [6.689948326302292]
  表現にすでに存在する構造を明らかにすることを意図したプローブファミリーは、関連する表現対称性の下で安定であるべきである。 クロスモデルプローブ転送の自然な対象は、全隠れ状態ではなく、プローブファミリーに見えない表現のモジュラー方向が共有プローブ可視の商であることを示す。
  論文  参考訳（メタデータ） (2026-05-12T02:59:44Z)
• When Agents Look the Same: Quantifying Distillation-Induced Similarity in Tool-Use Behaviors [66.18091962164219]
  既存のメトリクスは、タスクの成功に必要な義務的な振る舞いと、モデルの自律的な嗜好を反映した命令的でないパターンを区別することができない。 言語アライメントのための textbfResponse Pattern similarity (RPS) と、有向グラフとしてモデル化されたツール使用習慣のための textbfAction Graph similarity (AGS) である。
  論文  参考訳（メタデータ） (2026-04-23T03:48:56Z)
• The UNDO Flip-Flop: A Controlled Probe for Reversible Semantic State Management in State Space Model [0.0]
  状態空間モデル(SSM)は、星のないシーケンシャルタスクと有界階層構造の両方をモデル化する理論的能力を持っていることが示されている。 このギャップを埋めるためにUNDO Flip-Flopタスクを導入します。 我々は,この枠組みの下で一層および二層マンバ-2を評価する。
  論文  参考訳（メタデータ） (2026-04-07T14:23:40Z)
• Latency and Ordering Effects in Online Decisions [0.0]
  オンライン意思決定システムは遅延フィードバックと順序に敏感なダイナミクスの下で動作している。 ヘテロジニアスレイテンシ、非可換性、実装ギャップ効果を1つの下界ステートメントにパッケージ化する。
  論文  参考訳（メタデータ） (2025-11-17T07:08:05Z)
• HAODiff: Human-Aware One-Step Diffusion via Dual-Prompt Guidance [71.5820853722963]
  人中心画像は、伝達中に重篤な遺伝子劣化に悩まされ、ヒトの運動のぼかし(HMB)に起因することが多い 我々は,HMBと汎用雑音の共存をシミュレートした分解パイプラインを設計し,提案したHAODiffをトレーニングするための合成劣化データを生成する。 公平な評価のために,ノイズとHMBの併用に富んだベンチマークMPII-Testを導入する。
  論文  参考訳（メタデータ） (2025-05-26T09:24:11Z)
• In-situ mid-circuit qubit measurement and reset in a single-species trapped-ion quantum computing system [34.82692226532414]
  我々は,トラップイオン量子コンピューティングシステム上でのMCMR(In-situ Mid-circuit Measurement and Reset)演算を実装した。 測定されたキュービットからデータキュービットを分離する2つの方法を紹介し比較する。 2つの171textrmYb+$イオンの結晶上で、両手法を実験的に実証した。
  論文  参考訳（メタデータ） (2025-04-17T00:10:35Z)
• Ambiguity-Resistant Semi-Supervised Learning for Dense Object Detection [98.66771688028426]
  本研究では,一段階検出器のためのAmbiguity-Resistant Semi-supervised Learning (ARSL)を提案する。 擬似ラベルの分類とローカライズ品質を定量化するために,JCE(Joint-Confidence Estimation)を提案する。 ARSLは、曖昧さを効果的に軽減し、MS COCOおよびPASCALVOC上で最先端のSSOD性能を達成する。
  論文  参考訳（メタデータ） (2023-03-27T07:46:58Z)
• Disentangle Your Dense Object Detector [82.22771433419727]
  深層学習に基づく高密度物体検出器はここ数年で大きな成功を収め、ビデオ理解などのマルチメディアアプリケーションにも応用されてきた。 しかし、現在の高密度検出器の訓練パイプラインは、保持できない多くの接続に妥協されている。 そこで本研究では, 簡易かつ効果的な遠心分離機構を設計し, 現在の最先端検出器に統合するDED(Disentangled Dense Object Detector)を提案する。
  論文  参考訳（メタデータ） (2021-07-07T00:52:16Z)
• MimicDet: Bridging the Gap Between One-Stage and Two-Stage Object Detection [65.74032877197844]
  1段の検出器は、単純なアーキテクチャのためより効率的だが、2段の検出器は依然として精度でリードしている。 2段階特徴を直接模倣して1段階検出器を訓練する新しいフレームワークであるMimicDetを提案する。 マイクロメソッドは1段と2段の検出器で共有されたバックボーンを持ち、それから2つのヘッドに分岐する。
  論文  参考訳（メタデータ） (2020-09-24T07:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。