論文の概要: Cross-Trajectory Chimera Interventions Reveal Dissociable Roles of Weight Magnitude and Direction in Grokking

• arxiv url: http://arxiv.org/abs/2607.06628v1
• Date: Tue, 07 Jul 2026 12:12:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.159777
• Title: Cross-Trajectory Chimera Interventions Reveal Dissociable Roles of Weight Magnitude and Direction in Grokking
• Title（参考訳）: クロストラジェクトリー・キメラ・インターベンションは、グロキングにおける体重と方向の解離性の役割を明らかにする
• Abstract要約: 単一軌道の介入は、実行中のポータビリティではなく、1回の実行内で必要であることを示している。 2つの異なる種から実行された場合、各重みベクトルをノルムと単位方向に分割し、一方のランのノルムを他方の方向に再結合し、トレーニングを継続する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Which properties of a partially trained network are causally portable to a different, independently trained network? Single-trajectory interventions show necessity within one run, not portability across runs. We introduce cross-trajectory chimera interventions: given two runs from different seeds, we split each weight vector into a norm and a unit direction, recombine one run's norm with the other's direction, and continue training. On two modular-arithmetic tasks that grok, the components dissociate. Direction carries a transferable, donor-specific circuit identity: implanting a donor's direction at the recipient's norm drives the run to the donor's circuit in 40/40 cases, while an angle-matched random control yields no shift. The transfer is threshold-like, and its location is predicted by the recipient's norm, separating perfectly by norm class over all 20 pairs (joint permutation probability 1.9e-4). Norm carries only a modest, distributed delay effect and no identity signal. An adaptive bisection procedure localizes the threshold to +/-1/64. Direction indexes which solution a trajectory approaches; norm governs how susceptible that identity is to being overwritten.
• Abstract（参考訳）: 部分的にトレーニングされたネットワークのどの特性が、異なる独立したトレーニングされたネットワークに因果的に移植可能であるか? 単一軌道の介入は、実行中のポータビリティではなく、1回の実行内で必要であることを示している。 異なる種から2回のランが与えられた場合、各ウェイトベクトルをノルムと単位方向に分割し、一方のランのノルムを他方の方向に再結合し、トレーニングを継続する。 2つのモジュラー・アセスメティックなタスクにおいて、コンポーネントは解離する。 指示は転送可能でドナー固有の回路IDを持ち、受信者の基準にドナーの方向を埋め込むことで40/40のケースでドナーの回路に走らせる。 転送はしきい値に似ており、その位置は受信者のノルムによって予測され、20対すべての標準クラスで完全に分離される(共変確率 1.9e-4)。 Normは最小限の分散遅延効果しか持たず、識別信号は持たない。 適応的二分法は、閾値を+/-1/64にローカライズする。 方向索引は、どの解法が近づくかを示す;ノルムは、そのアイデンティティがオーバーライトされることにどのように影響するかを規定する。

関連論文リスト

• Differential Realizability of Static Control Allocation in Multirotors: An Impossibility under Nonredundant Full Actuation and a Pseudoinverse Obstruction under Redundant Actuation [3.317440415766445]
  物理ローター速度から推力への符号付き四角写像は、ゼロ速度での局所微分同相ではない。 グローバルな固定オーサント構造は、永続的なタスク保存内部アクチュエーターのコストで正規区間の存在を確立する。
  論文  参考訳（メタデータ） (2026-09-11T22:52:19Z)
• Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability [51.56484100374058]
  機械論的解釈可能性プリミティブに対する最初の識別可能性定理を証明した。 スペクトルは、正当性分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
  論文  参考訳（メタデータ） (2026-08-10T19:42:01Z)
• UniCycleFlow: Bidirectional Unpaired Image Translation with a Shared Rectified Flow [14.60117153247222]
  双方向不対画像変換は, 両方向のコヒーレントな変換をペアの監督なしに学習しながら, ソース固有の構造を保たなければならない。 単時間条件の速度場の前方逆積分として双方向翻訳を表現した整流フローフレームワークUniCycleFlowを提案する。
  論文  参考訳（メタデータ） (2026-08-07T04:05:04Z)
• Source-Lifted Flow Matching for Intervenable Multimodal Imitation [45.97335144597459]
  Source-Lifted Flow Matchingは、ソース交換可能なフローマッチングポリシーである。 Handleは、モード固有のフィールドではなく、条件付きフローのソースエンドポイントのみを選択する。
  論文  参考訳（メタデータ） (2026-07-11T08:33:04Z)
• Actionable Activation Directions for Detecting and Mitigating Emergent Misalignment Across Language Model Families [0.0]
  安全性の低いコード上の微調整言語モデルは、内部構造が不十分な創発的ミスアライメントを誘導する。 アーキテクチャ間で共有される因果作用可能なアクティベーション空間方向に対応しているかどうかを考察する。
  論文  参考訳（メタデータ） (2026-06-18T13:39:59Z)
• GEMS: Geometric Constraints Enable Multi-Semantic Superposition in LLMs [5.018957704056544]
  アクティベーションステアリング(Activation steering)は、推論時に中間隠れ状態を変更することで、リトレーニングなしでモデル動作を制御する。 制約なしに複数の意味的方向が重畳されると、モデルは崩壊する。 GEMSは,各ソースを対応する幾何学的制約にマッピングする訓練不要な手法である。
  論文  参考訳（メタデータ） (2026-06-18T08:43:33Z)
• Self-Consistent Generative Paths via Admissible Random Variational Transport [14.74009385288423]
  確率経路はいつ自己整合するのか? 自己整合性生成経路を許容可能な局所変分輸送補正のランダムな固定点として定義する。 結果として生じる理論は、エンドポイントマッチングを経路自己整合性テストに変換する。
  論文  参考訳（メタデータ） (2026-06-08T02:56:06Z)
• Operator spreading in random circuits with orthogonal or symplectic symmetry [0.0]
  アンサンブル平均のパウリ弦重みは、ユニタリ不変回路のバイナリ構造ではなく、三値構造に緩和される。 qudit size $q=2$ の場合、蝶の速度はハール・ランダムのアンサンブルを超える。
  論文  参考訳（メタデータ） (2026-06-02T17:45:55Z)
• Stochastic Estimation of the Layer-wise Hessian Trace for Monitoring Neural-network Training [45.88028371034407]
  本稿では,ニューラルネットワークの経験的リスクであるヘッセン行列の対角ブロックの軌跡のパラメータ推定器を提案する。 この手順はハッチンソントレース推定器とパラメータベクトル全体の上の1つのヘッセンベクトル積を組み合わせたものである。 重み分担の下での正しさは,第2次微分の前に階層的にヘッセンを組み立てる必要があることを示す。
  論文  参考訳（メタデータ） (2026-05-25T10:24:32Z)
• Transformers Can Learn Rules They've Never Seen: Proof of Computation Beyond Interpolation [0.0]
  2つの制御された設定で強みのみの仮説をテストする。 実験1では、純粋なXOR遷移規則を持つセルオートマトンを用いる。 実験2では、整数上のシンボリック作用素鎖を1つの作用素対が持ち上がった状態で研究する。
  論文  参考訳（メタデータ） (2026-03-17T18:02:28Z)
• Branched Schrödinger Bridge Matching [45.105452288011726]
  分岐Schr"odinger Bridge Matching (BranchSBM)は,分岐Schr"odinger Bridgesを学習する新しいフレームワークである。 BranchSBMは、複数の時間依存速度場と成長過程をパラメータ化し、終端分布への人口レベルのばらつきを表現する。 分岐SBMは, 多経路表面ナビゲーション, 均一な前駆体状態からの細胞運命分岐のモデル化, 摂動による細胞応答の変動をシミュレーションするタスクにおいて, より表現力が高いだけでなく, 必要であることを示す。
  論文  参考訳（メタデータ） (2025-06-10T17:29:48Z)
• Proxy Methods for Domain Adaptation [78.03254010884783]
  プロキシ変数は、遅延変数を明示的にリカバリしたりモデル化したりすることなく、分散シフトへの適応を可能にする。 両設定の複雑な分散シフトに適応する2段階のカーネル推定手法を開発した。
  論文  参考訳（メタデータ） (2024-03-12T09:32:41Z)
• Deep Transformers without Shortcuts: Modifying Self-attention for Faithful Signal Propagation [105.22961467028234]
  ディープニューラルネットワーク(DNN)のトレーニングにおいて,スキップ接続と正規化レイヤはユビキタスである Deep Kernel Shapingのような最近のアプローチは、それらへの依存を減らすために進歩しました。 しかし、これらのアプローチは変換器に存在する自己注意層とは相容れない。
  論文  参考訳（メタデータ） (2023-02-20T21:26:25Z)
• Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation [64.92152574895111]
  直交ジャコビアン正規化法(OroJaR)を提案する。 提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
  論文  参考訳（メタデータ） (2021-08-17T15:01:46Z)
• Do Generative Models Know Disentanglement? Contrastive Learning is All You Need [59.033559925639075]
  本論文では,変数空間におけるコントラスト(DisCo)による非監視的,モデル非依存的手法を提案する。 DisCoは、GAN、VAE、およびフローを含む、事前訓練された非解離生成モデルに与えられた最先端の解離を達成します。
  論文  参考訳（メタデータ） (2021-02-21T08:01:20Z)
• Pruning Redundant Mappings in Transformer Models via Spectral-Normalized Identity Prior [54.629850694790036]
  スペクトル正規化アイデンティティ事前 (SNIP) は、トランスフォーマーモデルにおける残余モジュール全体をアイデンティティマッピングに向けてペナライズする構造化プルーニング手法である。 5つのGLUEベンチマークタスクでBERTを用いて実験を行い、SNIPが同等の性能を維持しながら効率的な刈り取り結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-10-05T05:40:56Z)
• Deriving Differential Target Propagation from Iterating Approximate Inverses [91.3755431537592]
  本稿では,各層が学習した逆数に依存するターゲット伝搬の特定の形態が,ガウス-ニュートン勾配に基づく近似最適化に対応する更新規則を導出することを示す。 そこで我々は,各層における局所的自動エンコーダに基づく反復計算について検討し,より正確な目標伝搬のインバージョンを実現する。
  論文  参考訳（メタデータ） (2020-07-29T22:34:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。