論文の概要: A Mesoscopic View of Transformer Weights Through Row and Column Scale Fields

• arxiv url: http://arxiv.org/abs/2609.35852v1
• Date: Fri, 25 Sep 2026 08:22:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.860266
• Title: A Mesoscopic View of Transformer Weights Through Row and Column Scale Fields
• Title（参考訳）: ロースケールおよびカラムスケールでの変圧器重量のメソスコピックビュー
• Abstract要約: トランスフォーマーウェイト(Transformer weights)のポーリング統計(Pooled statistics of Pooled statistics of Transformer weights)は、関数チャネル間でどの程度の大きさが分散しているかを明らかにしていないが、個々のウェイトは直接比較するには多すぎる。 チャネル上の重み行列の中央値中心の対数-RMSプロファイルは,大域スケールと完全平衡コアとともに行列を正確に表す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pooled statistics of Transformer weights obscure how magnitude is distributed across functional channels, while individual weights are too numerous to compare directly. We study the mesoscopic level between them: row and column scale fields, the median-centred log-RMS profiles of a weight matrix over its channels, which together with a global scale and a full balanced core represent the matrix exactly. Across public Pythia checkpoints at four sizes and controlled runs from three initialization families, balancing reveals similar measured core magnitude profiles. A mixture bridge, with its form fixed before the analysis and its coefficients fitted, predicts the pooled-shape departure from field width on held-out runs and data arms of the controlled grid. The indexed fields retain further structure: they align across projections that share a functional channel, and query/key profiles follow reassigned RoPE frequencies rather than fixed matrix coordinates. Training trajectories show early field formation followed by component-dependent broadening or recession. Extending the channel-based analysis to AdamW's second moment reveals related functional organization in its log-space row and column factors. Finally, edits of a frozen checkpoint separate reciprocal scale balance, which preserves the forward computation, from relative channel gain: flattening the gain increases in-distribution loss while preserving matrix norms and the balanced core. Row and column scale fields thus connect pooled magnitude statistics to channel organization and provide coordinates for tracking and testing trained weight structure.
• Abstract（参考訳）: トランスフォーマーウェイト(Transformer weights)のポーリング統計(Pooled statistics of Pooled statistics of Transformer weights)は、関数チャネル間でどの程度の大きさが分散しているかを明らかにしていないが、個々のウェイトは直接比較するには多すぎる。 チャネル上の重み行列の中央値中心の対数-RMSプロファイルは,大域スケールと完全平衡コアとともに行列を正確に表す。 公共のPythiaチェックポイント全体では4つのサイズがあり、3つの初期化ファミリから制御される。 解析の前にその形状と係数が固定された混合橋は、保持走行時のフィールド幅と制御グリッドのデータアームとのプール形状のずれを予測する。 インデックス付きフィールドはさらに構造を保ち、関数チャネルを共有するプロジェクションに整列し、クエリ/キープロファイルは固定行列座標ではなく、再割り当てされたRoPE周波数に従う。 トレーニングトラジェクトリは、初期フィールドの形成と、コンポーネントに依存した拡張または不況を示す。 チャネルベースの分析をAdamW氏の第2の瞬間に拡張すると、ログスペース行と列ファクタの関連した機能構造が明らかになる。 最後に、フリーズチェックポイントの編集は、相対的なチャネルゲインからフォワード計算を保存する相互スケールバランスを分離する。 したがって、ロースケールおよびカラムスケールフィールドは、プール化された等級統計データをチャネル組織に接続し、訓練された重量構造を追跡し、テストするための座標を提供する。

関連論文リスト

• A Factor Graph Approach to Scalable Multi-Output Gaussian Process Regression [1.5169370091868049]
  後続計算は、連鎖構築後のコスト$mathcalO(C(DL2 + L3)$で正確なガウスメッセージパッシングに還元され、共分散行列再構成なしでその局所的な因子が失われる。 実測値と実測値との係数グラフ定式化を合成入力次元スイープおよび電気時系列予測で比較した。
  論文  参考訳（メタデータ） (2026-08-12T10:52:13Z)
• FoundationGeo: Learning Spatial Pixel-Wise Fields for Monocular Metric Geometry [52.232826445242644]
  FoundationGeoは空間キャリブレーションと原則データ設計による相対的および計量的予測を橋渡しする。 ステージ1は DINOv3 で初期化することで高忠実なアフィン不変幾何モデルを学ぶ。 ステージ2は、メートル法推定のためのピクセルワイドキャリブレーションフィールドを導入することで、グローバルなスケーリングを越えている。
  論文  参考訳（メタデータ） (2026-07-13T14:10:01Z)
• From Self-Attention to Connection Laplacian: A Unified Operator View of Transformers [53.505136935517925]
  自己注意は現代のシーケンスモデルにおいてユビキタスプリミティブであるが、作用素レベルの幾何学は部分的には理解されていない。 単頭注意 (SHA) は, 常に搬送される接続伝播ステップであることを示す。 トレーニングされたトランスフォーマー(124Mから8B)と構造(エンコーダ/デコーダ)は、我々の理論と整合した幾何学的構造を示す。
  論文  参考訳（メタデータ） (2026-07-12T09:44:54Z)
• CuBAS: Information Geometric Curvature-Based Adaptive Sampling for Supervised Classification [52.452902154360565]
  CuBASは、教師付き分類における適応データ選択のための情報幾何学的フレームワークである。 ラベル付きデータセットは統計多様体と見なすことができ、局所曲率は2階と1階の観測されたフィッシャー情報の比率で推定され、データの分布の幾何学的複雑さを忠実にエンコードする。
  論文  参考訳（メタデータ） (2026-07-03T09:36:02Z)
• Reward Transport: Property Control in Flow Matching via Noise-Space Alignment [30.541631728490202]
  フローマッチングにおける結合は、学習されたフローフィールドに直接制御可能な構造を埋め込むことができることを示す。 トレーニング時に最適な輸送結合を用いて,スカラーノイズ空間座標を分子報酬と整合させるReward Transportを導入する。 実験的に、ZINC-250K と Guaca 上で、スカラーを網羅すると logP の単調な制御と、その動作範囲に対する一貫した QED 制御が誘導される。
  論文  参考訳（メタデータ） (2026-06-13T00:17:15Z)
• SEED: Targeted Data Selection by Weighted Independent Set [76.68391670109433]
  我々はSEEDと呼ばれる堅牢でスケーラブルなデータ選択パイプラインを開発した。 SEEDは、命令チューニング、視覚的命令チューニング、セマンティックセグメンテーションにおける最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-15T07:26:54Z)
• Geometric and Spectral Alignment for Deep Neural Network II [12.227949990332363]
  本稿では,残留ヤコビ鎖に対する幾何およびスペクトルアライメントの角および静的チャネル成分について述べる。 カルタン座標の剛性と有効ランクの窓から始め、隣接する層を横断する支配的な特異部分空間がどのように輸送されるかを研究する。 主な結果は決定論的、余分な検証結果である。
  論文  参考訳（メタデータ） (2026-05-04T00:17:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。