論文の概要: Every Ablation Is a Dose: Counterweights and the Semblance of Self-Repair
- arxiv url: http://arxiv.org/abs/2610.02173v1
- Date: Thu, 01 Oct 2026 17:57:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.362211
- Title: Every Ablation Is a Dose: Counterweights and the Semblance of Self-Repair
- Title（参考訳）: あらゆるアブレーションはドーズ:カウンターウェイトと自己修復の連続
- Abstract要約: 言語モデルのコンポーネントと他のコンポーネントは、しばしば調整と補償のように見える。
細粒度単位$r$に対する因果補修応答はアフィン法によって制御されていることを示す。
GPT-2 の IOI 回路では、介入する10個のヘッドのうち7個が法則に従うことができ、そのうち7個は逆重である。
- 参考スコア（独自算出の注目度）: 6.260109821811391
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ablate a component of a language model, and other components often appear to adjust and compensate. This phenomenon, termed self-repair, has been observed repeatedly, but its mechanism remains unclear. The most systematic study to date concluded that self-repair is noisy and unlikely to have a single explanation. We argue that it has one: a gain already present before any ablation. Any intervention on a causally important component can be viewed as a point on a coordinate axis $λ$, the signed strength of a counterfactual contrast. Hence, conventional ablation methods are uncalibrated points on this axis. We show that the causal repair response for a fine-grained unit $r$ is governed by an affine law, $E_r(λ)=\mathrm{own}_r+γ_rλ$. The slope $γ_r$ is a fixed coefficient that consistently influences the model, with or without ablation, and its sign determines whether the unit counteracts or reinforces the removed signal. On a factual-verdict task across four models from distinct families (Gemma, Qwen, LLaMA, and Mistral), we identify components including MLP neurons, OV neurons, and singular directions that follow this affine law, 68 of 81 downstream directions in all. Moreover, we can anticipate the magnitude of $γ_r$ from the fixed weights. On the IOI circuit of GPT-2 Small, seven of the ten heads the intervention can reach follow the law, and all seven are counterweights. From this perspective, what may appear as self-repair is a counterweight performing its usual operation when the contrastive signal emerges at the core.
- Abstract（参考訳）: 言語モデルのコンポーネントと他のコンポーネントは、しばしば調整と補償のように見える。
この現象は「自己修復現象」と呼ばれ、繰り返し観測されてきたが、そのメカニズムは未だ不明である。
これまでで最も体系的な研究は、自己修復は騒々しく、単一の説明ができないと結論づけた。
われわれは1つあると論じている。
因果的に重要な成分に対する任意の介入は、対実コントラストの符号された強さである座標軸$λ$上の点と見なすことができる。
したがって、従来のアブレーション法は、この軸上の未校正点である。
細粒度単位 $r$ に対する因果補修応答は、アフィン法則 $E_r(λ)=\mathrm{own}_r+γ_rλ$ によって支配されることを示す。
傾斜$γ_r$は、アブレーションの有無にかかわらずモデルに一貫して影響を及ぼす固定係数であり、その記号は除去された信号に反作用するか強化するかを決定する。
異なる家系の4つのモデル(Gemma、Qwen、LLaMA、Mistral)の事実予測タスクにおいて、MLPニューロン、OVニューロン、およびこのアフィン法則に従う特異方向を含む成分を同定する。
さらに、固定重みから$γ_r$を予測できる。
GPT-2 の IOI 回路では、介入する10個のヘッドのうち7個が法則に従うことができ、そのうち7個は逆重である。
この観点では、自己修復のように見えるものは、コントラスト信号がコアに現れるとき、通常の操作を実行する対重である。
関連論文リスト
- $\text{GSF-}χ$: Global Stereochemical Fields for Chiral Graph Transformers [49.85093436361195]
GSF-$$は、全ての対の相互作用をステレオジェニック単位が変調するグラフ変換器である。
$C$プロジェクションはミラーオンのECDピークカウントと位置をミラーオードピークサインから分離する。
GSF-$$は全ての中央ECD出力をリードし、軸方向回転とシンボルを最強のベースラインで12.6%$と7.9%$で改善する。
論文 参考訳（メタデータ） (2026-09-11T07:41:20Z) - Coarsening Latent-Class Probabilities: Directional Distortion and Coverage Loss [1.14219428942199]
結果が、観測されていないクラスメンバーシップの確率ベクトル上でますます後退していることが示される。
定数係数構造平均と条件キャリブレーションの下では、観測データ問題は確率ベクトル上の結果の部分的に線形回帰である。
粗い場合、プラグイン推定器は$mathcalA$に収束し、粗い演算子は$mathcalA$と$u$の廃信号を満たす。
論文 参考訳（メタデータ） (2026-08-12T08:26:33Z) - Interventional Score Geometry for Causal Inference [0.0]
パールズ・ラダー・オブ・カウセーション (Ladder of Causation) では、観測スコア幾何学は関連性に属し、介入をインデクシングしたスコア場は介入し、単位レベルの反事実幾何学は今後の研究のために残されている。
ハード介入 $operatornameo(X_k=)$ はジョイント法則を再重み付けするだけでなく、サブ多様体 $x_k=$ に分布を制限する。
私は因果的影響$X_krightsquigarrow X_j$を、$X_j$と$$の介入境界分布のバリエーションとして定義する。
論文 参考訳（メタデータ） (2026-07-24T02:42:05Z) - A Mathematical Theory of Value: a synthesis on goal-directed agency under resource constraints [6.057587531186626]
目的指向エージェントが生成し、破壊し、交換する価値は、情報と同じカテゴリの法的構造量であることを示す。
価格がフレームに依存していない間、価値はフレーム相対的であり、そのリソースをプールし、その知覚を融合する艦隊が天井を継承する。
論文 参考訳（メタデータ） (2026-06-10T16:11:04Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - How Does Attention Help? Insights from Random Matrices on Signal Recovery from Sequence Models [6.758792133077052]
固有値分布の制限,外乱固有値,および隠れ信号との固有ベクトルアライメントの正確な特徴を導出する。
パラメータフリー因果自己アテンションを$/d$のスコアスケーリングで行うと、平均プールよりも信号の回復が向上する決定論的調和重みが得られることを示す。
論文 参考訳（メタデータ） (2026-05-07T18:28:01Z) - Barren Plateaus as Destructive Interference: A Diagnostic Framework and Implications for Structured Ansatzes [4.07636450847048]
Barren Plateaus (BPs) は通常、勾配分散の指数的抑制によって記述される。
本研究では, この現象を, 長期的勾配寄与の破壊的干渉と解釈できることを示す。
論文 参考訳（メタデータ） (2026-05-02T08:28:21Z) - Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。
主な課題は、敵の計測と非同期である。
その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
論文 参考訳（メタデータ） (2026-04-07T11:45:55Z) - Causal Bandits for Linear Structural Equation Models [58.2875460517691]
本稿では,因果図形モデルにおける最適な介入順序を設計する問題について検討する。
グラフの構造は知られており、ノードは$N$である。
頻繁性(UCBベース)とベイズ的設定に2つのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-08-26T16:21:31Z) - Causal Expectation-Maximisation [70.45873402967297]
ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。
我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。
我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
論文 参考訳（メタデータ） (2020-11-04T10:25:13Z) - The Generalized Lasso with Nonlinear Observations and Generative Priors [63.541900026673055]
我々は、幅広い測定モデルで満たされるガウス下測度を仮定する。
この結果から, 局所埋込特性を仮定して, 均一回復保証まで拡張できることが示唆された。
論文 参考訳（メタデータ） (2020-06-22T16:43:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。