論文の概要: Understanding Sparse Attention Selectivity in Long-Context Foundation Models via Counterfactual Evaluation

• arxiv url: http://arxiv.org/abs/2608.01676v1
• Date: Mon, 03 Aug 2026 04:12:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.325228
• Title: Understanding Sparse Attention Selectivity in Long-Context Foundation Models via Counterfactual Evaluation
• Title（参考訳）: 対実評価による長期基礎モデルのスパースアテンション選択性理解
• Abstract要約: 我々は,Block Sparse Flash Attention (BSFA)ルートが4つのアーキテクチャをまたいだリプレイによって16セル中13セルの出力決定が変化することを示す。 次に、マッチングされたプローブカードを用いて、密閉された偽物監査を導入する。 ブロックIDを公開する任意のモデルにデプロイ可能なオープンな測定フレームワークを提供する。
• 参考スコア（独自算出の注目度）: 9.526730541200038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse attention is widely deployed in long-context serving stacks, yet no framework audits how discarding blocks changes the influence of specific content on model output. We first establish that the phenomenon is real and causal: Block Sparse Flash Attention (BSFA) route replay across four architectures changes output decisions in 13 of 16 cells, with zero identity-replay label flips. We then introduce a dense-calibrated counterfactual audit using matched probe cards---Gold (carrying the correct answer label), Poison (carrying a target wrong label), and Benign (filler only)---under six-layout position symmetry, isolating the sparsification-specific effect. Two patterns compete. Signal concentration: the selector preserves Gold and Poison blocks far above filler-matched Benign blocks (G$\approx$P$\gg$B across all model--task pairs). Integration loss: discarding blocks severs cross-block attention---confirmed by an ablation where isolating the probe block collapses its influence from 4.48 logits to zero. Compression ratio governs the balance: a full sweep from mild ($c=0.25$) to aggressive ($c=0.75$) compression across four model--task pairs reveals that three of four cells move toward stronger sparse amplification at higher compression, with two exhibiting sign reversals. Three independent arms---BSFA route replay, controlled block-top-$k$, and KV-cache eviction---converge: sparsification changes content influence in ways aggregate accuracy cannot detect. We provide an open measurement framework deployable on any model exposing block identities.
• Abstract（参考訳）: Sparse attentionは長いコンテキストのサービススタックに広くデプロイされているが、ブロックの破棄が特定のコンテンツの影響をモデル出力にどのように与えるかを監査するフレームワークはない。 Block Sparse Flash Attention (BSFA) ルートは、4つのアーキテクチャをまたいだリプレイによって16セル中13セルで出力決定が変更され、識別-再生ラベルのフリップがゼロになる。 次に,一致したプローブカード,ポゾン,ベニグ,ベニグ,6レイアウト位置対称性を用いた高密度校正対物監査を行い,スパース化特異的効果を分離した。 2つのパターンが競います。 信号濃度: セレクタは、すべてのモデル-タスク対において、フィラー整合ベニグンのブロックよりも遥かに上のゴールドブロックとポゾンブロックを保存する。 積分損失: ブロックを切断する ブロックを遮断する アブレーションにより、プローブブロックを分離すると、その影響が4.48ロジットから0に崩壊する 圧縮比は、バランスを制御している: 軽度(c=0.25$)から攻撃性(c=0.75$)までの4つのモデルペアにわたる完全な圧縮 - タスクは、4つのセルのうち3つがより高い圧縮でスパース増幅に向かって動き、2つの符号反転を示す。 3つの独立したアーム---BSFAルートリプレイ、制御ブロック-top-k$、KV-cacheエヴィジョン--収束: スパーシフィケーションは、集約精度が検出できない方法でコンテンツの影響を変化させる。 ブロックIDを公開する任意のモデルにデプロイ可能なオープンな測定フレームワークを提供する。

関連論文リスト

• Calibrating Interpretability Instruments Before Trusting Their Verdicts [1.0829694003408499]
  Causal氏は、大きな言語モデル(LLM)の内部は測定にかかっていると主張している。 これらの測定は、エラーではなく可算数を返す特定の診断可能な方法で失敗する。 このノートは、拒絶と道徳的表現に関する因果的解釈可能性プログラムの6つの失敗を文書化している。
  論文  参考訳（メタデータ） (2026-09-13T19:37:02Z)
• Quantization Amplifies Determinism, Not Bias: Scale-Dependent Behavioral Effects of Serving-Time Weight Compression [0.0]
  中規模のモデルの量子化は、しばしば「ほぼ自由」と見なされる いくつかの答えが有効であれば、量子化はモデルが言うべきことを変えるのか? 3つのチェックポイント(Qwen3-8B/14B/32B)を3つのウェイト精度(W4A16 AWQ、W8A16 FP8-Marlin、bf16)で提供する。 私たちは、プロンプトとシードで組み合わせた約71,000個のコンプリートを、2つのカスタムなリークチェックされたプロンプトバッテリーで収集します。
  論文  参考訳（メタデータ） (2026-09-07T19:06:31Z)
• Coverage, Not Targeting: A Structural Regime in Multi-Turn Agent Credit Assignment [5.864346468963738]
  マルチターンエージェントRLは、ますますターゲット問題としてクレジット割り当てを扱うようになっている。 端末状態検証器は、ターゲットが間違った軸である低V_d方式で深い位置にあることを示す。
  論文  参考訳（メタデータ） (2026-09-02T10:37:12Z)
• Lévy Attention: Single-Pass Predictive Uncertainty for Continuous-Time Attention [0.0]
  レヴィ・アテンション(英: Lévy Attention)は、不均質なランダム測度に対して出力が積分的なクロスアテンション作用素である。 t-PatchGNNオペレーターは、一致した制御に対してコストを5.6%の精度でスワップする。 1回のパスでは3,383人の未確認患者が1.4秒で信頼されている。
  論文  参考訳（メタデータ） (2026-08-19T17:50:16Z)
• Tracing Provenance and Detecting Tampering with Complementary LLM Watermarks [68.64050157343334]
  既存の透かしは編集の際は残されているが、このような堅牢性は、敵が帰属を維持しながら重要な内容を変更することを可能にする。 実証と改ざんの証拠を共同で提供する革新的な透かしを導入する。 信号は同じメカニズムを共有するが、独立キーと正規化テキスト上の異なるシードウィンドウを使用するため、一方は編集に耐性があり、もう一方は読み取り可能な変更に敏感である。
  論文  参考訳（メタデータ） (2026-08-13T01:55:16Z)
• Gubernaut: A Deterministic Homeostatic Controller for Affect-Regulated LLM Agents, Validated Across Independent Model Families [1.1506549878621528]
  この研究は、Nelson-Narens監視制御ループのモデルに依存しないランタイム制御層であるGubernaut Cognitive Controller(GCC)につながった。 我々は,4つのフロンティアモデルの4x4行列に対して,事前登録されたジェネレーションオンス/ジャッジマンプロトコルを用いてGCCを評価した。
  論文  参考訳（メタデータ） (2026-07-27T12:17:21Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• Interaction Scaling: Grounding the Third Axis of Test-Time Compute [0.33451037881913753]
  一つの変数がこの第3の軸を接地として支配し、ループの両側に保持しなければならないと論じる。 固定トークン予算でのハードコーディングタスクでは、推論のみとベストオブNの両方をサンプリングする。 提案手法は, ラン・ツー・ラン分散を伴わず, 100%パスレートに到達した。
  論文  参考訳（メタデータ） (2026-07-13T14:22:06Z)
• A Decomposable Probe for Few-Step Diffusion Models: Prompt, Latent, and Score Selectivity across Backbone Families and Distillation Paradigms [0.0]
  拡散学生は50～1-8のネットワーク評価からテキスト・ツー・イメージ・推論を減らした。 我々はスカラーを3つの層に沿って制御された摂動を注入する分解可能なプローブで置き換える。 Inception機能に対するブートストラップ中間のBures W22選択率について報告する。
  論文  参考訳（メタデータ） (2026-07-03T12:18:24Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• The Chain Holds, the Answer Folds: Trace-Answer Dissociation in Reasoning Models Under Adversarial Pressure [8.86745721473138]
  推論モデルはシングルターンベンチマークで評価されるが、マルチターンダイアログにデプロイされる。 われわれはこの不信な降伏(UC)を2ドル(約2万2000円)のラテント・ヴァース・ビヘイビア・フレームワークで分離し、指標のフリップレートとシングルターンプローブの両方を見逃す。
  論文  参考訳（メタデータ） (2026-05-27T20:41:08Z)
• Towards Generalization of Block Attention via Automatic Segmentation and Block Distillation [61.19473093799777]
  ブロックアテンションは、Retrieval-Augmented Generation (RAG)のような長期コンテキストシナリオにおけるKVキャッシュの再利用を改善することができる。 しかし、入力テキストを意味のある自己完結ブロックに分割することの難しさと、性能低下のリスクを負う既存のブロック微調整手法の非効率性である。 ブロック微細チューニングよりも効率的な訓練フレームワークであるブロック蒸留を提案し, 凍結したフルアテンション教師モデルを用いて, ブロックアテンション学生を指導する。
  論文  参考訳（メタデータ） (2026-05-15T12:51:32Z)
• VeriX-Anon: A Multi-Layered Framework for Mathematically Verifiable Outsourced Target-Driven Data Anonymization [0.0]
  VeriX-Anonは、オープンソースのターゲット駆動k匿名化のための多層検証フレームワークである。 認証決定木のメルクル式ハッシュによる決定論的検証、ランダムフォレスト決定境界付近の境界センチネルによる確率的検証、および暗号識別子による正確な重複性ツインズの組み合わせである。 12のシナリオのうち11の偏差を正しく検出した。
  論文  参考訳（メタデータ） (2026-04-14T08:22:18Z)
• MEMENTO: Teaching LLMs to Manage Their Own Context [50.3558738319336]
  推論モデルは、自身の中間状態を圧縮または整理するメカニズムのない、長い、構造化されていないストリームを思い浮かべる。 MementO: ブロックに推論を分割し、各ブロックをメメントに圧縮し、メメントにのみ参加して推論を行う方法をモデルに教える手法を紹介する。 OpenMementos上の2段階のSFTレシピは、異なるモデルファミリやスケールで有効であることを示す。
  論文  参考訳（メタデータ） (2026-04-10T19:30:29Z)
• Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
  離散拡散言語モデルは、テキスト生成に強い可能性を示している。 半自己回帰推論による微調整ミスアライメントの標準化 我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
  論文  参考訳（メタデータ） (2025-08-27T02:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。