論文の概要: Cross-Layer Interaction under Weight-Space Ablation: A Closed-Form Attention Jacobian Bound and a Test on a Real Pretrained Model

• arxiv url: http://arxiv.org/abs/2608.03629v1
• Date: Tue, 04 Aug 2026 13:14:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.202606
• Title: Cross-Layer Interaction under Weight-Space Ablation: A Closed-Form Attention Jacobian Bound and a Test on a Real Pretrained Model
• Title（参考訳）: 重み空間アブレーション下の層間相互作用:閉形式アテンションジャコビアン境界と実プレトレーニングモデルによる実験
• Abstract要約: 本稿では, 理想化モデルにおいて, 活性化パッチと重み空間のアブレーションが一致する場合について検討する。 これは、正規化のみを減らし、ヘッドも減らせば二階境界となる、正確な一階相互作用公式を導出する。 本論文は,両限界を超えて結果を拡張し,まず,複数の層を切断するキャリアからの相互作用を,正確に同じブロック項に分解する。 第二に、残りの部分は2つの層に対して、混合二階微分の二重積分として正確に分離し、それを束縛するために必要な欠成分を、注意サブブロックに対するヤコビアン境界(Jacobian bound for the attention sub-block)と呼ぶ。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A companion paper studies when activation patching and weight-space ablation agree, inside an idealized model where a conditional computation is carried additively through a residual stream. For the one composition in that model where two carriers are architecturally dependent, an attention head and its own layer's normalization-MLP composition, it derives an exact first-order interaction formula, zero when only the MLP is ablated and second-order bounded when the head is also ablated. That result is confined to a single residual block and checked only on small transformers on a synthetic task. This paper extends the result past both limits. First, the interaction from ablating carriers spanning several layers decomposes exactly into same-block terms, one per touched layer, plus a cross-layer remainder on which the decomposition makes no claim of smallness. Second, we isolate that remainder exactly, for two layers, as a double integral of a mixed second derivative, and name the missing ingredient needed to bound it: a Jacobian bound for the attention sub-block. We derive this bound in closed form and verify it, without a single violation, against Qwen2.5-1.5B-Instruct's real weights, though we do not yet chain it across layers. We also give, in closed form, the curvature constant the companion paper's bound leaves unexhibited. Third, on that same model, we search for and find an emergent circuit for indirect object identification, never designed into it, using the original activation-patching method for this task, and test collapse, dissociation, and interaction on it. The result is mixed: a shared carrier emerges across all five tested instances, collapse and dissociation hold on most but not all, and a nonzero interaction is measurable on three of five, at layer pairs outside the same-block case the companion theorem covers.
• Abstract（参考訳）: 余剰ストリームを通じて条件計算を付加的に行う理想モデルにおいて、活性化パッチと重み空間のアブレーションが一致する場合について研究する。 2つのキャリア、アテンションヘッド、およびそれ自身のレイヤの正規化-MLP合成がアーキテクチャ上依存しているモデルにおける1つの構成は、頭部がアブレーションされたとき、MLPのみを省略し、第2次を有界とする正確な1次相互作用公式を導出する。 この結果は1つの残差ブロックに制限され、合成タスクで小さな変圧器でのみチェックされる。 この論文は両方の限界を越えて結果を拡張します。 第一に、複数の層にまたがる断裂キャリアからの相互作用は、正確に同じブロック項に分解される。 第二に、残りの部分は2つの層に対して、混合二階微分の二重積分として正確に分離し、それを束縛するために必要な欠成分を、注意サブブロックに対するヤコビアン境界(Jacobian bound for the attention sub-block)と呼ぶ。 我々は、この境界を閉じた形で導き、単一の違反なしに、Qwen2.5-1.5B-Instructの真の重みに対して検証する。 また、クローズドな形では、共役紙の有界葉の曲率定数を無拘束で与える。 第三に、この課題に対して元のアクティベーションパッチ法を用いて、間接的物体識別のための創発的回路を探索し、その上での解離、解離、相互作用を検証した。 その結果は、共有キャリアが5つのテストインスタンスすべてにまたがって出現し、崩壊と解離のホールドがすべてではないがすべてではなく、非ゼロ相互作用は5つのうち3つで測定可能であり、同伴定理がカバーする同じブロックの場合の外側の層対である。

関連論文リスト

• Translation-Invariant Tile-Based Phase Unwrapping with Residual-Weighted Multipath Averaging [2.349064979059293]
  位相アンラッピングは干渉計測とコヒーレントイメージングにおける重要なステップである。 本稿では、離散コサイン変換(DCT)とGhiglia et alの最小二乗形式(LS)を通じて、各タイルを周波数領域に埋め込む戦略を提案する。 アンラッピングとノイズフィルタリングは共同で行われ、それ以外は不適切な逆問題に規則化される。
  論文  参考訳（メタデータ） (2026-09-11T18:17:51Z)
• Feature Priming in Online Linear Regression: Sparse-Regret Lower Bounds and a Tight Univariate Rate [47.36630149538994]
  高次元のオンライン予測では、最良の予測子はいくつかの機能にのみ依存する可能性があるため、後悔は周囲の次元ではなく、疎らさでスケールすべきである。 WarmuthとAmidはCOLT 2023で、これらの3つのルールのいずれかが競合するオンライン後悔の保証を認めているかどうかを尋ねた。 安価なニュアンスは、リフィットが真の予測座標を過度に重くする原因となる。
  論文  参考訳（メタデータ） (2026-08-18T09:32:03Z)
• A Connectivity-Order Law and Conditional Minimal-Mechanism Identification in Many-Body Geometric Phases [6.483011579272094]
  分析・ギャップ化・非縮退型アベリアホロノミーでは、論理的支持と独立に校正された結合支援を共同で解決する。 すべての非零連結応答は、ターゲットを接続し、カバーする活性集合を含み、各活性結合の1つの因子を含み、鋭いオンセットを持つ$_S geq _E(S)$を出力しなければならない。 制限のない有限次元構成は、連結被覆条件によって許される全ての応答を同時に実現し、この定理クラスの中で条件を必要十分とする。
  論文  参考訳（メタデータ） (2026-08-18T02:19:38Z)
• Orientation, not magnitude: the causal structure of task-vector interference in merged language models [0.0]
  タスク算術はそうでなければ機能し、フィールドはマグニチュードで原因を診断する。 層状フラックスの正確な分解は、既存の断続輸送の増幅によって支配されていることを示している。 ナイーブのbfloat16生成の「ユニバーサリティ」は、量子化粗さであることが判明した。
  論文  参考訳（メタデータ） (2026-08-12T08:40:24Z)
• A Theory of Conditional Collapse under Low-Rank Weight-Space Ablations: I. The Single-Block Theory and Synthetic Validation [0.0]
  アクティベーションパッチと重み空間のアブレーションはどちらも、コンポーネントが振舞いに対して因果的に責任があると主張しているが、それらは異なるオブジェクトに作用する。 本研究では,残差ストリームを通じて条件計算を付加的に行う理想モデルについて検討する。
  論文  参考訳（メタデータ） (2026-08-04T13:10:19Z)
• Nonlocality-induced critical-length hierarchy from non-Hermitian competition [48.9823527611878]
  2つの連結鎖からなる短距離系において、競合は臨界長法則$N_csimln D$に導かれる。 ここでは、長距離ホッピングがこの臨界挙動を根本的に再編成し、異なるスケーリング法則の階層を生成することを示す。 この結果は,プログラム可能なトポ誘電回路,フォトニック格子,デジタル量子シミュレータでテスト可能なプラットフォーム非依存のフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-08-03T18:00:18Z)
• CoCurve: Cross-Module Co-Pruning Curvature for Training-Free Structured LLM Pruning [47.406985340436925]
  CoCurveはキャリブレーションのみの、微調整なしの手法で、注意とFFNのユニットを共同で刺激する。 これは1つの予算付き二次プログラムに還元され、ラベル、微調整、リカバリを伴わず、共有された注目の下で1ショットで解決される。
  論文  参考訳（メタデータ） (2026-07-20T05:27:57Z)
• Neural Networks as Local-to-Global Computations [0.0]
  エッジ上の制約マップとして各計算ステップを符号化することにより,任意のReLUニューラルネットワークからシーフを構築する。 フォワードパスとは異なり、熱方程式は層間で情報を双方向に伝播し、両方の方向に制約を課すピン付きニューロンを可能にする。 我々は, この枠組みを小さな合成問題に対して実験的に検証し, 収束定理を検証し, せん断に基づくトレーニングがまだ勾配降下と競合していないものの, 理論によって予測される定量的なスケーリング法則に従うことを示した。
  論文  参考訳（メタデータ） (2026-03-16T05:23:31Z)
• Lifting the Convex Conjugate in Lagrangian Relaxations: A Tractable Approach for Continuous Markov Random Fields [53.31927549039624]
  断片的な離散化は既存の離散化問題と矛盾しないことを示す。 この理論を2つの画像のマッチング問題に適用する。
  論文  参考訳（メタデータ） (2021-07-13T12:31:06Z)
• Deep Occlusion-Aware Instance Segmentation with Overlapping BiLayers [72.38919601150175]
  高オーバーラップオブジェクトをセグメント化するBilayer Convolutional Network (BCNet)を提案する。 BCNetはオクルージョンオブジェクト(Occluder)を検出し、ボトムGCN層は部分的にOccludedインスタンス(Occludee)を推論する
  論文  参考訳（メタデータ） (2021-03-23T06:25:42Z)
• Quantum anomalous Hall phase in synthetic bilayers via twistless twistronics [58.720142291102135]
  我々は超低温原子と合成次元に基づく「ツイストロン様」物理学の量子シミュレータを提案する。 本研究では,適切な条件下でのトポロジカルバンド構造を示す。
  論文  参考訳（メタデータ） (2020-08-06T19:58:05Z)
• Models of zero-range interaction for the bosonic trimer at unitarity [91.3755431537592]
  ゼロ範囲の2体相互作用によって相互に結合された同一ボソンからなる3体系に対する量子ハミルトニアンの構成について述べる。 プレゼンテーションの大部分では、無限の散乱長が考慮される。
  論文  参考訳（メタデータ） (2020-06-03T17:54:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。