論文の概要: Signed-Permutation Coordinate Transport for RMSNorm Transformers

• arxiv url: http://arxiv.org/abs/2606.31963v1
• Date: Tue, 30 Jun 2026 17:02:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.321518
• Title: Signed-Permutation Coordinate Transport for RMSNorm Transformers
• Title（参考訳）: RMSノーム変圧器の符号変換コーディネート輸送
• Abstract要約: RMSNormモデルに対して、置換のみのアライメントが対称性不完全であることを示す。 プライマリオブジェクトである関数レベルのマージではなく、座標保存トランスポートを作成します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern LLM workflows move coordinate-indexed objects across checkpoints: steering vectors, sparse autoencoders, top-$k$ neuron sets, attribution lists, and merge alignments. This is only well posed after fixing the model's residual-stream gauge, which we show is architecture-dependent: LayerNorm residual charts have permutation gauge $S_d$ (up to a global sign flip), while RMSNorm charts with generic per-channel gain have signed-permutation gauge $B_d = S_d \ltimes \{\pm 1\}^d$. Permutation-only alignment is therefore symmetry-incomplete for RMSNorm models. We introduce sign-marginalized Hungarian matching and prove a sharp failure mode: with decorrelated coordinates, raw signed-correlation matching has a structural permutation-accuracy ceiling at the positive-sign fraction of the true gauge, which sign-marginalization removes. We then make coordinate-preserving transport, not function-level merging, the primary object: composing saved-checkpoint local $B_d$ gauges along same-base fine-tuning trajectories recovers 91.1% of cross-run coordinates at 1500 steps versus 60.3% for endpoint matching, and the gain is not explained by merely routing through the base. The recovered gauge transfers tools that permutation-only alignment breaks: TinyLlama SAE reconstruction has NMSE 0.004 under $B_d$ versus 1.08 under $S_d$; Qwen sentiment steering preserves 95.8% of its effect versus 17.2%; refusal steering reverses sign under $S_d$; coordinate-preserving merges behave the same way. The same covariance governs stateful training: signed transport of AdamW state preserves the resumed trajectory, while permutation-only state follows a different one from a functionally identical checkpoint. Finally, gauge-sweep audits show index-level interpretability claims are reproducible only relative to an explicit gauge.
• Abstract（参考訳）: 現代のLLMワークフローは、ステアリングベクトル、スパースオートエンコーダ、トップ$k$ニューロンセット、属性リスト、マージアライメントなど、チェックポイントを越えて座標インデックスオブジェクトを移動している。 LayerNorm残差グラフは置換ゲージ$S_d$(グローバルサインフリップまで)を持ち、ジェネリックパーチャネルゲインを持つRMSNormチャートは符号置換ゲージ$B_d = S_d \ltimes \{\pm 1\}^d$である。 したがって、置換のみのアライメントは RMSNorm モデルに対して対称性不完全である。 そこで,本研究では,非相関座標を用いて,真のゲージの正の符号分における構造的置換精度天井を有する,符号行列化ハンガリーマッチングを導入し,急激な故障モードを証明した。 保存されたチェックポイントのローカル$B_d$ゲージを同じベースでの微調整軌道に沿って構成すると、1500ステップ対60.3%でクロスラン座標の91.1%が回復する。 TinyLlama SAE restructation have NMSE 0.004 under $B_d$ vs 1.08 under $S_d$; Qwen sentiment steering saves 95.8% of its effect vs 17.2%; refusal steering reverses signs $S_d$; coordinate-serving merges も同様に振る舞う。 署名されたAdamW状態の輸送は再開された軌道を保存するが、置換のみの状態は機能的に同一のチェックポイントとは異なるものに従う。 最後に、ゲージスイープ監査は、指標レベルの解釈可能性クレームが明示的なゲージに対してのみ再現可能であることを示す。

関連論文リスト

• Interpolation Is Not Invariance: Pair Count Is Not Coverage in Transformation Audits [0.0]
  同等のペアをカウントすることは、トランスフォーメーション監査のカバレッジを報告するための一般的な方法であるが、監査によって課される制約を大幅に上書きすることができる。 4つの相補的な量 - エッジカウント$m$, 効果的なコントラストランク$s$, 人口支援ランク$r$, グラフスペクトルギャップ$$-と, 監査カバレッジとデプロイメントの信頼性における役割を特徴づける。
  論文  参考訳（メタデータ） (2026-09-14T00:40:14Z)
• Directional Contextual Representations for Dependency Relations: Why Cross-Direction Pairing Fails [22.49571926071395]
  トークンの前方状態とエンファンシデントの後方状態(クロス・ディレクションのペアリング,$F_i$ vs. $B_j$)とのペアリングが一貫して同一方向ペアリングを行い,ペナルティ・アンファングロウは縮小せず,トークン距離が有意であることを示す。
  論文  参考訳（メタデータ） (2026-08-21T00:50:25Z)
• Sub-Quadratic Bisimulation Metrics via Approximate Nearest Neighbors: Coverage-Augmented Guarantees and Computable Two-Sided Certificates [1.2891210250935148]
  我々は,境界遷移をサポートするMPPに対して,証明書を搬送するサブクワッドラティックな方法を提案する。 近似アレスト近傍指数は、正確に制限された演算子によって更新されたペアを選択する。 ローカルインデックスの品質だけでは、グローバルエラーを制御できない。
  論文  参考訳（メタデータ） (2026-08-07T03:32:40Z)
• Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes [70.61868608402723]
  我々は$textbfSelf-Correcting Coupled Markov Jump Processes (SC-CMJP)を紹介する。 SC-CMJPと組み合わせて、共同マルチモーダルジェネレーションのための新しいトレーニングフリーシングルパスサンプリングであるtextttCO_texttt2textttJump$を紹介する。 トレーニングと評価のために,我々は3つの大規模ジョイントマルチモーダル生成コーパスを作成し,リリースする。
  論文  参考訳（メタデータ） (2026-07-14T18:39:29Z)
• Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale [5.67642958049511]
  層ノルムアフィンの逆スケールの$-1/|-1|$は、終末ノルム中心の活性化共分散の正確な核である。 LNスケールパラメータのみから読み出され、前方または後方のパスがなく、固有解がない。
  論文  参考訳（メタデータ） (2026-06-17T18:28:37Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• The Matching Principle: A Geometric Theory of Loss Functions for Nuisance-Robust Representation Learning [0.5854803320592717]
  線形ガウスモデル (Thm.A) における最適性を証明し, 展開のドリフトをゼロにする2次ペナルティに対する範囲被覆の必要性 (Thm.G) を示す。 13ブロック(MLからQwen2.5-7Bまで)のテストは、幾何と展開のドリフトに対する等方性対間違った方向の罰則と一致した。 Sigma_taskを推定し、Sigmaにマッチし、コントロールを実行し、タスクとジオメトリを別々にレポートする。
  論文  参考訳（メタデータ） (2026-05-21T17:53:28Z)
• Block Permutation Routing on Ramanujan Hypergraphs for Fault-Tolerant Quantum Computing [0.0]
  我々は、再構成可能な格子上の$d_C2$原子の表面コードパッチを表す固形ブロックの置換ルーティングを解析する。 商グラフ $Q(G_mathrmcl(H, B)$ のスペクトル解析により、スペクトル比 $_Q 1$ が高結合状態に保存されていることを示す。
  論文  参考訳（メタデータ） (2026-05-06T15:29:08Z)
• Pairwise matrices for sparse autoencoders: single-feature inspection mislabels causal axes [2.741152471987327]
  標準スパースオートエンコーダプロトコルは、各機能をトップアクティベーションコンテキストからラベル付けし、単一機能ステアリングによって検証する。 本稿では,Qwen3-1.7B-Instruct上での標準ワンコーナプロトコルミスをGemma-2-2B-itで再現した,ペアワイズ行列プロトコルと共変ステアリング係数を提案する。 これら3つの所見はGemmaでモデル特異的な損傷シグネチャを再現し,一致した形状制御はCIを10倍に分離する。
  論文  参考訳（メタデータ） (2026-05-04T21:11:21Z)
• AAC: Admissible-by-Architecture Differentiable Landmark Compression for ALT [1.2891210250935148]
  AAC は ALT (A*, Landmarks, Triangle) のショートパスのための差別化可能なランドマーク選択モジュールである。 これは古典的な探索における圧縮時適応の伝統の最初の微分可能な例である。
  論文  参考訳（メタデータ） (2026-04-22T16:31:21Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
  我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-27T11:34:41Z)
• Learning Accurate Segmentation Purely from Self-Supervision [87.78965637247107]
  Selfmentは完全に自己管理型のフレームワークで、人間のラベルなしでオブジェクトを生画像から直接分割する。 Selfmentは、複数のベンチマークで新しい最先端(SoTA)結果を設定する。
  論文  参考訳（メタデータ） (2026-02-27T07:36:32Z)
• Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
  線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。 我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:03:50Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。