論文の概要: Measuring Dead Directions: Decomposing and Classifying Singular Structure off Canonical Alignment
- arxiv url: http://arxiv.org/abs/2607.00603v1
- Date: Wed, 01 Jul 2026 08:29:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.807869
- Title: Measuring Dead Directions: Decomposing and Classifying Singular Structure off Canonical Alignment
- Title(参考訳): デッド方向の測定:正準アライメントから特異構造を分解・分類する
- Abstract要約: トレーニングネットワーク上の特異構造を非降下・アライメント・フリーで測定する。
Readは、構築されたセルとトレーニングされたネットワークをまたいだアーキテクチャ予測順序を回復する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We give a descent-free, alignment-free measurement of singular structure on trained networks. At a single frozen checkpoint the read recovers the order $k$ of each dead direction from the directional-Fisher rate, the master invariant from which the per-direction learning coefficient $1/(2k)$ follows exactly, in whatever basis the optimizer left. The same read classifies each direction, separating a genuine singularity, whose order the architecture fixes, from a flat gauge symmetry; the directional-Fisher magnitude settles the cases the order cannot. A pluggable detector supplies the directions for transformer, convolutional, and normalisation layers. The read recovers the architecture-predicted order across constructed cells and trained networks, including a fine-tuned vision transformer whose dead structure is the LayerNorm-kernel gauge and a from-scratch one whose compressed MLP forms a node-death at its activation order. Where the singular structure enumerates, the per-direction orders assemble, through the typed intersection of the loci, into the global coefficient $(λ, m)$ matching the closed form. The method removes the canonical-alignment and descent preconditions of the underlying rate result, turning order-recovery into a deterministic, architecture-general reading. We then map its reach into the Watanabe triple: the order determines the universal singular fluctuation $ν(k)$, though a trained network's realized $ν$ falls below it as the live structure absorbs the dead direction's data fluctuation, and the multiplicity recovers from the dominant structure under a single-locus assumption.
- Abstract(参考訳): トレーニングネットワーク上の特異構造を非降下・アライメント・フリーで測定する。
単一のフリーズされたチェックポイントにおいて、読み取りは、各デッド方向のオーダー$k$を方向-フィッシャーレートから回収する。
同じ読み出しは各方向を分類し、その順序が固定される真の特異点を平坦なゲージ対称性から分離する。
プラグ可能な検出器は、トランス、畳み込み、および正規化層の方向を供給する。
リードは、構築されたセルと訓練されたネットワーク間のアーキテクチャ予測順序を回復し、デッド構造がLayerNormカーネルゲージである微調整された視覚変換器と、圧縮されたMLPがアクティベート順序でノード死を形成するオフスクラッチを含む。
特異構造が列挙されるとき、方向毎の順序は、lociの型付き交叉を通して、閉形式に一致する大域係数$(λ, m)$に組み立てられる。
本手法は, 次数復元を決定論的, アーキテクチャ全般的な読解に変換することにより, 基本レート結果の正準アライメントと降下条件を除去する。
順序は普遍的な特異なゆらぎ$ν(k)$を決定するが、訓練されたネットワークが実現した$ν$は、生きた構造が死方向のデータゆらぎを吸収し、多重度が支配的な構造から一点の仮定で回復するので、それより下降する。
関連論文リスト
- Simplex Relaxation for Discrete Diffusion [58.33696160279345]
Simplax(Simplax)はディリクレ(Dirichlet)のカテゴリー拡張で、それぞれが崩壊したカテゴリ状態と補助的単純度値変数を結合する。
Simplaxは生成パープレキシティーを改善する。-無条件のOpenWebText生成におけるエントロピートレードオフ。
論文 参考訳(メタデータ) (2026-08-11T07:58:17Z) - Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability [51.56484100374058]
機械論的解釈可能性プリミティブに対する最初の識別可能性定理を証明した。
スペクトルは、正当性分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
論文 参考訳(メタデータ) (2026-08-10T19:42:01Z) - Dead-Direction Signatures: A Cheap Spectral Reading of Singular Complexity [5.67642958049511]
特異学習理論は、損失特異点の幾何学を通して深いネットワークの複雑さを特徴づける。
単体構造をもつ安価でクローズドなスペクトル読影器であるDeadDirection Signatures (DDS)を紹介する。
それぞれが選択された層でネットワークの活性化行列またはサンプル単位のフィッシャーグラムを読み、後鎖スペクトル線型代数を置き換える。
論文 参考訳(メタデータ) (2026-06-19T06:49:09Z) - Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale [5.67642958049511]
層ノルムアフィンの逆スケールの$-1/|-1|$は、終末ノルム中心の活性化共分散の正確な核である。
LNスケールパラメータのみから読み出され、前方または後方のパスがなく、固有解がない。
論文 参考訳(メタデータ) (2026-06-17T18:28:37Z) - Dead Directions: Geometric Singular Learning [0.0]
特異学習理論と情報幾何学は、主に別々の語彙で同じパラメータ空間を研究してきた。
我々はそれらを1つのプリミティブ、デッド方向、すなわちフィッシャー計量が退化する単位ベクトルを通してブリッジする。
滑らかな繊維上の選択規則は、この速度を実対数正準しきい値に対する渡辺の単一方向寄与に変換する。
多層K-FAC分解は、各フィッシャーブロックをアクティベーションと勾配側率の積として記述する。
論文 参考訳(メタデータ) (2026-06-04T09:54:08Z) - Learning Transferable Predictability Representations [2.1505812656718795]
予測可能性条件の順序付き連続体上の位置を反映した短い軌跡窓にスカラースコアを割り当てる問題について検討する。
我々はこれを5段階の予測可能性はしご上での順序推定として定式化し、システム間のあいまいさの構造的源を特定する。
GON(Gauge-Fixed Ordinal Network)は,レベルワイドスコアをピン留めして目標座標を共有するアンカー・アンド・ディスラプティビティで訓練された時間的畳み込みモデルである。
論文 参考訳(メタデータ) (2026-05-28T21:38:49Z) - Deep Delta Learning [91.75868893250662]
本稿では,標準残差接続を一般化した新しいアーキテクチャであるDeep Delta Learning(DDL)を紹介する。
我々はこの演算子のスペクトル解析を行い、ゲート$(mathbfX)$がアイデンティティマッピング、投影、幾何反射のダイナミックな相互作用を可能にすることを示した。
この統合により、ネットワークは階層的な遷移作用素のスペクトルを明示的に制御することができ、複雑な非単調力学のモデリングを可能にする。
論文 参考訳(メタデータ) (2026-01-01T18:11:38Z) - Phase-space entropy at acquisition reflects downstream learnability [54.4100065023873]
楽器分解位相空間に基づく取得レベルスカラー$S_mathcal B$を提案する。
本稿では, (S_mathcal B) が周期サンプリングの位相空間コヒーレンスを正確に同定できることを理論的に示す。
$|S_mathcal B|$は一貫してサンプリングジオメトリをランク付けし、トレーニングなしで下流での再構築/認識の困難を予測します。
論文 参考訳(メタデータ) (2025-12-22T10:03:51Z) - Robust inverse material design with physical guarantees using the Voigt-Reuss Net [0.0]
本稿では, ハード物理保証を伴う前方および逆機械的均質化のためのスペクトル正規化サロゲートを提案する。
バイファシック・マイクロ構造のオープンデータセット上の3次元線形弾性では、完全に接続されたVoigt-Reussネットは、236のイソトロピーインディスクリプタを持つFFTベースのラベルでトレーニングされている。
全体として、Voigt-Reussネットは、大バッチで制約に一貫性のある逆設計で正確で物理的に許容できる前方予測を統一する。
論文 参考訳(メタデータ) (2025-11-14T15:17:37Z) - Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。
クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
論文 参考訳(メタデータ) (2024-09-09T18:10:26Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳(メタデータ) (2023-08-31T17:57:50Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳(メタデータ) (2022-05-18T16:57:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。