論文の概要: Orientation, not magnitude: the causal structure of task-vector interference in merged language models

• arxiv url: http://arxiv.org/abs/2608.11797v1
• Date: Wed, 12 Aug 2026 08:40:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.52199
• Title: Orientation, not magnitude: the causal structure of task-vector interference in merged language models
• Title（参考訳）: 言語モデルにおけるタスクベクトル干渉の因果構造
• Abstract要約: タスク算術はそうでなければ機能し、フィールドはマグニチュードで原因を診断する。 層状フラックスの正確な分解は、既存の断続輸送の増幅によって支配されていることを示している。 ナイーブのbfloat16生成の「ユニバーサリティ」は、量子化粗さであることが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model merging by task arithmetic works until it doesn't, and the field diagnoses why with magnitudes: layerwise representation bias, deviations from cross-task linearity, parameter overlap. Tracking the exact layerwise cross-term of merged LLMs through a factorial ledger and intervening on it directly, we find magnitude insufficient - and inconsistent across model families - as a diagnostic axis. An exact decomposition of the layerwise flux shows it is dominated by amplifying transport of the existing cross-term (~65-70% in both families, gain >1 per late block), and erasing the term is undone by propagation - rebuilt to 99% of its norm at cosine 0.99 - unless applied near the output; a basin test with six starting displacements establishes the carried direction as an attractor of the forward pass. That direction is causally load-bearing: erasure along it removes expressed interference dose-dependently and saturates at exact erasure, while norm-matched wrong-direction controls fail or backfire. Instruction wrappers gate the effect: the same erasure finds 13x less relative interference to remove under a wrapper that internally amplifies the cross-term, because the wrapper drowns the interaction in a template-pinned main effect rather than shrinking it - a structure that replicates across further instruction templates but not under a length-matched control. Magnitude, by contrast, is at best a coarse correlate, and the striking +-15% "universality" of naive bfloat16 generation turns out to be quantization roughness. Task pairs whose local cross-term generation differs by at most 1.9x differ by 14x-337x in causally removable interference. All 46 predictions were preregistered and frozen before their data; falsifications, including of our own headline expectations and of behavioral recovery under a validated continuous endpoint, are reported as such.
• Abstract（参考訳）: タスク演算によるモデルマージは、それがなくなるまで動作し、フィールドは、階層的な表現バイアス、クロスタスク線形性からの逸脱、パラメータオーバーラップといった、大小の理由を診断する。 重み付け台帳を通し直接介入することにより, モデルファミリ間での整合性が著しく低下し, 診断軸として不整合であることが判明した。 層状フラックスの正確な分解は、既存の断続的な輸送を増幅すること(両家系とも65-70%、後期ブロックあたり1以上)で支配されており、出力近くで適用されない限り、伝播によってその標準の99%に改定され、前部パスの引き付けとして6つの開始変位を持つ盆地試験によって輸送方向が決定される。 その方向は因果的ロードベアリング(英語版)である:それに沿った消去は、表現された干渉を依存的に除去し、正確な消去時に飽和する一方、標準に適合した間違った方向制御は失敗またはバックファイアである。 インストラクションラッパーは、効果をゲートする: 同じ消去は、ラッパーを内部的に拡張するラッパーの下で取り除くための相対的な干渉を13倍少なくする。 対照的に、マグニチュードは極端に粗い相関であり、単純なbfloat16生成の衝撃+-15%の「ユニバーサリティ」は量子化粗さであることが判明した。 局所的な相互生成が少なくとも1.9倍異なるタスクペアは、因果的に除去可能な干渉において14x-337倍が異なる。 データの前に46の予測が事前登録され凍結され、検証された連続エンドポイントの下での私たちの見出しの予測や行動回復のファルシフィケーションが報告される。

関連論文リスト

• Feature Priming in Online Linear Regression: Sparse-Regret Lower Bounds and a Tight Univariate Rate [47.36630149538994]
  高次元のオンライン予測では、最良の予測子はいくつかの機能にのみ依存する可能性があるため、後悔は周囲の次元ではなく、疎らさでスケールすべきである。 WarmuthとAmidはCOLT 2023で、これらの3つのルールのいずれかが競合するオンライン後悔の保証を認めているかどうかを尋ねた。 安価なニュアンスは、リフィットが真の予測座標を過度に重くする原因となる。
  論文  参考訳（メタデータ） (2026-08-18T09:32:03Z)
• Is Convergence Inevitable? Tracing Output Homogeneity Back to Base Models [49.46165710676499]
  最初のアライメント段階から意味収束が観察される。 我々は収束を明らかにし増幅することができるが、SFTデータでは導入されないことを発見した。 その結果,LMトレーニングの根底にある目的から,意味収束が自然に生じる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-08-11T20:47:06Z)
• Do Active SAE Feature Planes Carry More Holonomy? A Preregistered Reversal in Gemma [0.0]
  本稿では, Gemma 2 2B において, ホロノミーが活性スパースオートエンコーダ (SAE) の特徴面に集中するかどうかを検証した。 アクティブ・フューチャー・プレーンは、ミックス・フューチャー・コントロールよりもホロノミーが低い。 原因は、活性化強度幾何、特徴エンゲージメントの程度、辞書幾何、一致した中心変位、アクティベーション・マニフォールド近接、および生きた代替品としての輸送せん断である。
  論文  参考訳（メタデータ） (2026-07-09T05:04:25Z)
• What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
  本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。 複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
  論文  参考訳（メタデータ） (2026-06-19T06:04:17Z)
• Actionable Activation Directions for Detecting and Mitigating Emergent Misalignment Across Language Model Families [0.0]
  安全性の低いコード上の微調整言語モデルは、内部構造が不十分な創発的ミスアライメントを誘導する。 アーキテクチャ間で共有される因果作用可能なアクティベーション空間方向に対応しているかどうかを考察する。
  論文  参考訳（メタデータ） (2026-06-18T13:39:59Z)
• GEMS: Geometric Constraints Enable Multi-Semantic Superposition in LLMs [5.018957704056544]
  アクティベーションステアリング(Activation steering)は、推論時に中間隠れ状態を変更することで、リトレーニングなしでモデル動作を制御する。 制約なしに複数の意味的方向が重畳されると、モデルは崩壊する。 GEMSは,各ソースを対応する幾何学的制約にマッピングする訓練不要な手法である。
  論文  参考訳（メタデータ） (2026-06-18T08:43:33Z)
• Flow Map Denoisers: Traversing the Distortion-Perception Plane for Inverse Problems [48.501415601682815]
  画像復元は基本的なトレードオフに直面している: エラーを最小限に抑える手法はぼやけた再構成を生み出し、知覚的品質を最大化する手法はシャープだが忠実でない画像を生み出す。 フローマップモデルは、歪み知覚フロンティアを連続的に分散する1パラメータのデノイザ群を暗黙的に定義する。 Plug-and-Playソルバ内では、同じメカニズムが一般的な逆問題にまで拡張され、知覚的アライメントとデータの一貫性のトレードオフを制御する。
  論文  参考訳（メタデータ） (2026-06-18T05:15:43Z)
• Divergence is Uncertainty: A Closed-Form Posterior Covariance for Flow Matching [8.603039700922809]
  フローマッチングは生成モデルの主要なフレームワークとなっているが、サンプルの不確かさの定量化は未解決の問題である。 これらのトレードオフはいずれも必要ありません。 MNISTの実験により、ピクセルごとの不確実性マップが意味論的に意味があることが確認された。
  論文  参考訳（メタデータ） (2026-05-01T04:25:00Z)
• Variance Is Not Importance: Structural Analysis of Transformer Compressibility Across Model Scales [0.0]
  スペクトル圧縮,ブロックレベル関数置換,回転ベース量子化,アクティベーション幾何,適応早期出口について検討した。 圧縮に関連する5つの構造特性を同定する。
  論文  参考訳（メタデータ） (2026-04-22T15:31:46Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation [64.92152574895111]
  直交ジャコビアン正規化法(OroJaR)を提案する。 提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
  論文  参考訳（メタデータ） (2021-08-17T15:01:46Z)
• Analytic Signal Phase in $N-D$ by Linear Symmetry Tensor--fingerprint modeling [69.35569554213679]
  解析信号位相とその勾配は2-D$以上の不連続性を持つことを示す。 この欠点は深刻なアーティファクトをもたらす可能性があるが、問題は1-D $シグナルには存在しない。 本稿では,複数のGaborフィルタに頼って線形シンメトリー位相を用いることを提案する。
  論文  参考訳（メタデータ） (2020-05-16T21:17:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。