論文の概要: Locality Does Not Imply Reachability: Boundary Repair in Block-Sparse Causal Attention

• arxiv url: http://arxiv.org/abs/2606.02680v1
• Date: Mon, 01 Jun 2026 15:56:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.512924
• Title: Locality Does Not Imply Reachability: Boundary Repair in Block-Sparse Causal Attention
• Title（参考訳）: 局所性は到達可能性に影響を及ぼさない:ブロック・スパース因果性注意における境界修復
• Authors: Zhibo Yang,
• Abstract要約: 本稿では,シーケンスローカリティとアテンショングラフ到達率のミスマッチについて検討する。 この境界アーティファクトを構造的依存集合で定式化する。 位相条件付きカバレッジ関数を導出し、到達性はそのブロック内のソースターゲット距離とターゲットオフセットの両方に依存することを示す。
• 参考スコア（独自算出の注目度）: 3.5863289126242837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse causal attention is usually described by sequence locality: nearby tokens should remain easy to access, while distant tokens may be dropped to reduce cost. This paper studies a mismatch between sequence locality and attention-graph reachability. In fixed block causal attention, two adjacent tokens can be disconnected in the attention graph at every depth. We formalize this boundary artifact through structural dependency sets: if every attention layer uses the same fixed block causal mask and all remaining operations are positionwise, a target representation can depend only on tokens in its own block prefix. This yields an architecture-level boundary-copy separation for a constructed K-way boundary-copy distribution, with top-1 accuracy upper bound 1/K and expected cross-entropy lower bound log K. We then derive phase-conditioned coverage functions showing that reachability depends on both source-target distance and the target's offset within its block. These coverage laws predict when a sparse pattern should fail, when a repair can help, and why sliding-window attention and boundary repair are not interchangeable. Boundary Bridge Attention is treated as a constructive witness: it preserves the fixed block path and adds zero-additional-parameter auxiliary causal edges near block boundaries using shared projections. Controlled 1024-token experiments show that gains concentrate in coverage-aligned diagnostics. As secondary external-validity evidence, a fixed-checkpoint 8K-token Qwen2.5-7B probe shows the same coverage-incomparability pattern. The contribution is a theory-guided diagnostic framework for locality-reachability mismatch in block-sparse causal attention, together with phase-conditioned coverage analysis and a minimal constructive repair.
• Abstract（参考訳）: 緩やかな因果的注意は通常、シーケンスの局所性によって記述される: 近くのトークンはアクセスしやすくなければならないが、遠くのトークンはコストを削減するためにドロップされることがある。 本稿では,シーケンスローカリティとアテンショングラフ到達率のミスマッチについて検討する。 固定ブロック因果注意では、各深さで2つの隣接するトークンをアテンショングラフで切り離すことができる。 全ての注意層が同じ固定ブロック因果マスクを使用していて、残りの操作が位置的に配置されている場合、ターゲット表現は自身のブロックプレフィックスのトークンにのみ依存する。 これにより、構築されたKウェイ境界コピー分布に対して、トップ-1精度上界1/Kと予測クロスエントロピー下界ログKとのアーキテクチャレベルの境界コピー分離が得られ、その上で、到達性はそのブロック内の目標距離と目標オフセットの両方に依存することを示す位相条件付きカバレッジ関数を導出する。 これらのカバレッジ法則は、スパースパターンがいつ失敗するか、修理が助けになるのか、なぜスライドウインドウの注意と境界の修復が交換できないのかを予測している。 境界橋の注意は建設的な証人として扱われ、固定されたブロックパスを保存し、共有射影を用いてブロック境界付近にゼロパラメトリック補助因果縁を追加する。 コントロールされた1024トンの実験は、カバレッジに整合した診断に集中していることを示している。 二次的な外部原子価の証拠として、固定チェックポイント8K-token Qwen2.5-7Bプローブは、同じカバレッジ非互換性パターンを示す。 この貢献は、位相条件付きカバレッジ分析と最小構成的修復とともに、ブロックスパース因果的注意における局所性・到達可能性のミスマッチに関する理論誘導型診断フレームワークである。

関連論文リスト

• The conditional-mean barrier: From deterministic regression to conditional distribution learning [6.160113667162026]
  このチュートリアルでは、条件-平均障壁を中心とした自己完結モジュールを開発する。 平方損失予測器に潜在ランダム性を加えると、条件平均に戻る。 我々は,否定的対数類似度,モーメントとオブザーバブルマッチング,変分目的,逆数分岐,スコアマッチングなどの共通分布目的を短時間に整理する。
  論文  参考訳（メタデータ） (2026-05-27T07:31:42Z)
• Counterfactual Likelihood Tests for Indirect Influence in Private Reasoning Channels [51.56484100374058]
  本稿では,私的推論チャネル間の影響を測定するための実証実験について述べる。 この方法は、上流のプライベートブロックを長さマッチングドナーブロックに置き換え、公開トークンシーケンスと下流ターゲットを固定し、下流ターゲットの負のログに似たシフトを測定する。
  論文  参考訳（メタデータ） (2026-05-18T20:27:43Z)
• When Attention Closes: How LLMs Lose the Thread in Multi-Turn Interaction [32.270076973760325]
  ゴール定義トークンは注意によってアクセスしにくくなり、ゴール関連情報は残留表現で持続する。 ゴールアクセシビリティ比(GAR)を導入し、生成トークンからタスク定義ゴールトークンへの注意を計測し、それをスライドウインドウアブレーションと残留ストリームプローブと組み合わせる。 アーキテクチャ全体において、遷移は定性的に異なる障害モードをもたらす: あるモデルは注意をそらしてゴール条件の動作を保ち、他のモデルは、デオード可能な残留目標情報にもかかわらず失敗し、この符号化が現れる層は2から27まで変化する。
  論文  参考訳（メタデータ） (2026-05-13T02:58:18Z)
• BPC-Net: Annotation-Free Skin Lesion Segmentation via Boundary Probability Calibration [15.992042021607643]
  アノテーションのない皮膚病変セグメンテーションのための境界確率校正フレームワークであるBPC-Netを提案する。 提案手法は, マクロ平均Dice係数と Jaccard index の85.80% と76.97% に到達し, 教師なし手法の最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-04-07T08:43:34Z)
• LATA: Laplacian-Assisted Transductive Adaptation for Conformal Uncertainty in Medical VLMs [61.06744611795341]
  医用視覚言語モデル(VLM)は医用画像の強力なゼロショット認識器である。 本研究では,ラプラシアン支援トランスダクティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ(texttttextbfLATA,ラプラシアン支援トランスダクティブ・アダプティブ・アダプティブ・アダプティブ)を提案する。 texttttextbfLATAは交換性を損なうことなくゼロショット予測をシャープにする。
  論文  参考訳（メタデータ） (2026-02-19T16:45:38Z)
• Rethinking Multi-Condition DiTs: Eliminating Redundant Attention via Position-Alignment and Keyword-Scoping [61.459927600301654]
  マルチコンディション制御は従来のコンカデント・アンド・アットエンドの戦略によってボトルネックとなる。 分析の結果,これらの相互作用の多くは空間的にも意味的にも冗長であることがわかった。 本稿では,これらの冗長性を解消するための高効率なフレームワークであるPKAを提案する。
  論文  参考訳（メタデータ） (2026-02-06T16:39:10Z)
• Identifying Intervenable and Interpretable Features via Orthogonality Regularization [48.938969291033665]
  我々はデコーダ行列をほぼ直交的な特徴に分解する。 これにより、ターゲットデータセットのパフォーマンスを本質的に変更することなく、機能間の干渉と重畳を低減することができる。 私たちのコードは、$texttthttps://github.com/mrtzmllr/sae-icm$で利用可能です。
  論文  参考訳（メタデータ） (2026-02-04T16:29:14Z)
• Context-Aware Token Pruning and Discriminative Selective Attention for Transformer Tracking [2.557588419790226]
  1ストリームトランスフォーマーベースのトラッカーはテンプレートと検索領域トークンを連結することで顕著な性能を示した。 ターゲットテンプレートトークンに出席するバックグラウンド検索トークンの過剰な割合は、トラッカーの識別能力を弱める。 CPDATrackは、バックグラウンドトークンとイントラクタトークンからの干渉を抑制するために設計された、新しいトラッキングフレームワークである。
  論文  参考訳（メタデータ） (2025-11-25T05:12:17Z)
• Semantic Concentration for Self-Supervised Dense Representations Learning [103.10708947415092]
  イメージレベルの自己教師型学習(SSL)は大きな進歩を遂げているが、パッチの密度の高い表現を学ぶことは依然として難しい。 この研究は、画像レベルのSSLが暗黙のセマンティックな集中を伴って過分散を避けることを明らかにしている。
  論文  参考訳（メタデータ） (2025-09-11T13:12:10Z)
• Boundary-RL: Reinforcement Learning for Weakly-Supervised Prostate Segmentation in TRUS Images [8.057488225592605]
  弱教師付きセグメンテーション手法であるBundary-RLを提案する。 セグメント化は,従来のような画素レベルの分類ではなく,境界検出問題として想定される。 特に超音波画像では、強度値が境界間の音響インピーダンスの差を表す場合、境界線法(英語版)の利点もある。
  論文  参考訳（メタデータ） (2023-08-22T12:02:05Z)
• DeepStrip: High Resolution Boundary Refinement [60.00241966809684]
  関心領域をストリップ画像に変換し、ストリップ領域の境界予測を計算することを提案する。 対象境界を検出するために,2つの予測層を持つフレームワークを提案する。 我々は、誤報を減らすために、整合性とC0連続性正規化をネットワークに強制する。
  論文  参考訳（メタデータ） (2020-03-25T22:44:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。