論文の概要: Uncovering Symmetry Transfer in Large Language Models via Layer-Peeled Optimization

• arxiv url: http://arxiv.org/abs/2605.12756v1
• Date: Tue, 12 May 2026 21:10:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.691913
• Title: Uncovering Symmetry Transfer in Large Language Models via Layer-Peeled Optimization
• Title（参考訳）: 階層最適化による大規模言語モデルにおける対称性伝達の解明
• Authors: Zhehang Du, Hangfeng He, Weijie Su,
• Abstract要約: 大規模言語モデル(LLM)は、次のシフト予測のためのクロスエントロピー損失を最小限に抑え、凸凸である。 対象トークンが循環対称性を示すとき、最適ロジット行列は正確に循環し、グラマンケンも循環出力を形成する。
• 参考スコア（独自算出の注目度）: 6.787340999768117
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are pretrained by minimizing the cross-entropy loss for next-token prediction. In this paper, we study whether this optimization strategy can induce geometric structure in the learned model weights and context embeddings. We approach this problem by analyzing a constrained layer-peeled optimization program, which serves as a mathematically tractable surrogate for LLMs by treating the output projection matrix and last-layer context embeddings as optimization variables. Our analysis of this nonconvex optimization program demonstrates that symmetries in the target next-token distributions are transferred to the global minimizers of the layer-peeled model in a precise group-theoretic sense. Specifically, we prove that when the target tokens exhibit a cyclic-shift symmetry (such as the seven days of the week or the twelve months of the year), the optimal logit matrix is exactly circulant, and the Gram matrices of both the output projections and the context embeddings form circulant geometries as well. Next, for exchangeable target distributions invariant under the symmetric group and, more generally, under two-transitive group actions, we show that the global optimal output projection matrix forms a simplex equiangular tight frame, while the optimal logit matrix and context embeddings inherit the permutation symmetries present in the input data. A key technical step is to reduce the constrained nonconvex factorized problem to an explicit logit-level convex characterization for cyclic symmetry and to a symmetry-based lower bound for permutation symmetry, together with a sharp characterization of the optimal factorization. Finally, we empirically demonstrate that open-source LLMs naturally exhibit symmetries consistent with our theoretical predictions, despite being trained without any explicit regularization promoting such geometric structure.
• Abstract（参考訳）: 大規模言語モデル(LLM)は,次点予測のためのクロスエントロピー損失を最小限に抑え,事前訓練を行う。 本稿では,この最適化手法が学習モデル重みと文脈埋め込みの幾何学的構造を誘導できるかどうかを考察する。 出力予測行列と最終層コンテキスト埋め込みを最適化変数として扱うことにより,LLMの数学的にトラクタブルなサロゲートとして機能する拘束層最適化プログラムを解析することにより,この問題に対処する。 この非凸最適化プログラムの解析により、対象の次トーケン分布の対称性が、正確に群理論的な意味で、層対モデルの大域最小化器に転送されることを示す。 具体的には、目標トークンが循環シフト対称性を示す場合(例えば、週7日や年12ヶ月)、最適ロジット行列は正確に循環し、出力射影とコンテキスト埋め込みの両方のグラム行列も循環したジオメトリーを形成することを証明した。 次に、対称群の下で不変な交換可能な対象分布と、より一般的には2-推移的群作用の下では、大域的最適出力射影行列が単純な等角的タイトフレームを形成し、一方、最適ロジット行列と文脈埋め込みは入力データに存在する置換対称性を継承することを示す。 重要な技術的ステップは、制約された非凸因子化問題を、巡回対称性の明示的なロジットレベル凸特性と、置換対称性の対称性に基づく下界に、そして最適因子化の鋭く特徴づけることである。 最後に、これらの幾何学的構造を推し進める明示的な正規化なしに訓練されたにもかかわらず、オープンソースLLMが自然に我々の理論的予測と整合した対称性を示すことを実証的に実証した。

関連論文リスト

• Aligning Network Equivariance with Data Symmetry: A Theoretical Framework and Adaptive Approach for Image Restoration [71.51826063983434]
  画像復元は本質的に逆問題である。 非厳密対称性を制約として、復元逆問題を定式化する。 最適復元演算子の等値誤差はデータ対称性誤差と離散化メッシュサイズによって厳密に制限されていることを示す。
  論文  参考訳（メタデータ） (2026-05-13T16:22:19Z)
• BOOOM: Loss-Function-Agnostic Black-Box Optimization over Orthonormal Manifolds for Machine Learning and Statistical Inference [0.0]
  我々は体系的な調査を行う。 対価のセット 直交円柱-直交円柱-直交円柱をaを通して脱出する。 データデータに適用されたノベル。 問題だ 対角最適化の枠組みを示す。 強力で低ランクな分解、独立的な分解分析。 環境下でのグローバルな収束です
  論文  参考訳（メタデータ） (2026-04-23T19:32:27Z)
• Provable Non-Convex Euclidean Distance Matrix Completion: Geometry, Reconstruction, and Robustness [8.113729514518495]
  ユークリッド距離行列補完問題は、センサーネットワークの局所化、分子ロバスト性、多様体学習など、幅広い応用で発生する。 本稿では,正半定値グラム行列の空間上の低ランク行列補完タスクを提案する。 利用可能な距離の測定は非直交基底で拡張係数として符号化され、グラム行列の最適化は非負性や三角形の不等式を通じて暗黙的に幾何的整合を強制する。
  論文  参考訳（メタデータ） (2025-07-31T18:40:42Z)
• Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
  驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。 以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。 我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。 この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
  論文  参考訳（メタデータ） (2025-06-28T01:46:36Z)
• Variational Inference Failures Under Model Symmetries: Permutation Invariant Posteriors for Bayesian Neural Networks [43.88179780450706]
  重み空間置換対称性が変分推論に与える影響について検討する。 置換不変変分後部を構築するための対称対称性機構を考案する。 本研究は, 対称性分布が真の後部と厳密に適合していること, 元のELBO目標を用いてトレーニングできること, を示す。
  論文  参考訳（メタデータ） (2024-08-10T09:06:34Z)
• Regularized Projection Matrix Approximation with Applications to Community Detection [1.3761665705201904]
  本稿では,アフィニティ行列からクラスタ情報を復元するための正規化プロジェクション行列近似フレームワークを提案する。 3つの異なるペナルティ関数について検討し, それぞれが有界, 正, スパースシナリオに対応するように調整した。 合成および実世界の両方のデータセットで行った数値実験により、我々の正規化射影行列近似アプローチはクラスタリング性能において最先端の手法を著しく上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-26T15:18:22Z)
• Multiplicative Updates for Online Convex Optimization over Symmetric Cones [28.815822236291392]
  任意の対称コーンのトレースワンスライスに対するオンライン最適化のためのプロジェクションフリーアルゴリズムであるSymmetric-Cone Multiplicative Weights Update (SCMWU)を導入する。 SCMWUは, 対称錐負エントロピーを正則化器とするFollow-the-Regularized-LeaderおよびOnline Mirror Descentと等価であることを示す。
  論文  参考訳（メタデータ） (2023-07-06T17:06:43Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。