論文の概要: Do Orthogonality Constraints Help Language-Model Training Beyond Sphere Optimization?

• arxiv url: http://arxiv.org/abs/2611.00593v1
• Date: Sat, 31 Oct 2026 03:42:53 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:14:56.33744
• Title: Do Orthogonality Constraints Help Language-Model Training Beyond Sphere Optimization?
• Title（参考訳）: 直交性制約は球最適化を超えた言語モデルトレーニングに役立つか?
• Abstract要約: 微調整大型言語モデル(LLM)における直交制約の恩恵を受ける研究機関 我々は,約200Bトークンでトレーニングされた360Mから3.1Bパラメータのモデルを用いて,デコーダのみのLLM事前学習の系統的研究を行った。 私たちの結論は、行間の直交性は球面最適化以上の言語モデル事前学習に役立ちません。
• 参考スコア（独自算出の注目度）: 18.63211494211787
• License:
• Abstract: A growing body of work reports benefits from orthogonality constraints in fine-tuning large language models (LLMs). These results raise an open question: do orthogonality constraints also help LLM pre-training? We conduct a systematic empirical study of decoder-only LLM pre-training with models ranging from 360M to 3.1B parameters, trained on nearly 200B tokens. We examine fourteen variants of orthogonality training: some constrain the weight matrix itself, while others use orthogonal factors to reparameterize it. Because a strictly orthogonal square matrix loses half of its degrees of freedom, we also study block-wise orthogonality, where every $d$ rows form a row-orthonormal (Stiefel) matrix and the block size $d$ is a hyperparameter. Among block sizes ranging from 1 to the shorter side of the matrix, no $d>1$ used throughout the network reliably outperforms $d=1$, and large blocks are clearly worse; the one placement that helps, symmetric positive-definite factors on the query and key projections, loses its small gain as models grow. At $d=1$, the constraint reduces to sphere optimization, with each row direction on its own unit sphere, which by itself already improves on tuned Muon. The same two findings hold for a diffusion transformer trained on ImageNet, and after fine-tuning, downstream accuracy does not separate the parameterizations. Our conclusion is that, across the realizations we tried, orthogonality between rows does not help language-model pre-training beyond sphere optimization. Since this appears to conflict with several prior results, we re-examine five prior methods in pre-training and fine-tuning that report orthogonality improvements. In each case the reported gain is attributable to numerical precision, training horizon, optimizer realization, or per-row norm control rather than to the orthogonality the methods impose.
• Abstract（参考訳）: 増大する仕事の報告は、微調整された大きな言語モデル(LLM)における直交制約の恩恵を受ける。 直交性の制約はLLM事前学習にも役立ちますか? 我々は,約200Bトークンでトレーニングされた360Mから3.1Bパラメータのモデルを用いて,デコーダのみのLLM事前学習の系統的研究を行った。 直交訓練の14変種について検討し、重み行列自体を制約するものもあるが、直交因子を用いて再パラメータ化するものもある。 厳密な直交正方行列はその自由度の半分を失うので、すべての$d$行が行正規行列 (Stiefel) を形成し、ブロックサイズ$d$がハイパーパラメータであるブロックワイド直交性も研究する。 行列の1から短辺までのブロックサイズのうち、ネットワーク全体で使われる$d>1$は$d=1$より確実に優れており、大きなブロックは明らかに悪い。 d=1$とすると、制約は球面最適化に還元され、各行の向きはそれぞれの単位球面上に置かれる。 同じ2つの発見は、ImageNetでトレーニングされた拡散トランスフォーマーであり、微調整後、下流の精度はパラメータ化を分離しない。 私たちの結論は、行間の直交性は球面最適化以上の言語モデル事前学習に役立ちません。 これはいくつかの先行結果と矛盾していると思われるため、直交性の改善を報告した事前学習と微調整の5つの先行手法を再検討する。 それぞれの場合、報告された利得は、メソッドが課す直交性よりも、数値的精度、トレーニング水平線、オプティマイザ実現、あるいはローごとのノルム制御に起因する。

関連論文リスト

• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Scale-Invariant Neural Network Optimization: Norm Geometry and Heavy-Tailed Noise [12.977441534320041]
  スペクトルノルムを持つスケール不変の1次法は$(minm, n-frac3p-2p-1)の呼び出しを必要とすることを示す。 我々は、標準がスペクトルであり、ヘシアンがリプシッツであるとき、バッチ法が$(minm, n-frac5p2p-2p-2)$のマッチング境界を達成することを証明した。
  論文  参考訳（メタデータ） (2026-05-18T15:13:18Z)
• MuonEq: Balancing Before Orthogonalization with Lightweight Equilibration [31.160844121725123]
  ムオンの直交化前平衡スキームの軽量なファミリーであるメソッドを導入する。 LLaMA2 の C4 での事前訓練では、デフォルトの R 版は130M と350M のモデルで Muon を一貫して上回っている。
  論文  参考訳（メタデータ） (2026-03-30T10:28:18Z)
• ButterflyQuant: Ultra-low-bit LLM Quantization through Learnable Orthogonal Butterfly Transforms [21.010238822100135]
  大きな言語モデルは巨大なメモリフットプリントを必要とし、コンシューマハードウェアへのデプロイを著しく制限する。 量子化は低い数値精度でメモリを減少させるが、極端な2ビット量子化は、アクティベーションの異常値による破滅的な性能損失に悩まされる。 本研究では,アダマール回転を学習可能なバタフライ変換に置き換えるバタフライ量子化法を提案する。
  論文  参考訳（メタデータ） (2025-09-11T17:59:51Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Zeroth-Order Adaptive Neuron Alignment Based Pruning without Re-Training [7.972074133591484]
  我々は, LLMの任意のプルーニングアルゴリズム上で使用可能な, エフェストアップアルゴリズムである textbfNeuroAl を提案する。 我々の手法は、パフォーマンス・ランタイムトレードオフの観点から最新の最先端手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-11-11T15:30:16Z)
• Sparse Linear Bandits with Blocking Constraints [22.01704171400845]
  データ・ポーア・システマにおける高次元スパース線形包帯問題について検討する。 線形モデルに対するラッソ推定器の新たなオフライン統計的保証を示す。 本稿では,最小限のコストで最適空間パラメータ$k$の知識を必要としない相関に基づくメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-26T01:42:03Z)
• Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
  無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。 テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。 我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
  論文  参考訳（メタデータ） (2024-06-12T17:53:29Z)
• Stochastic Optimal Control Matching [53.156277491861985]
  最適制御のための新しい反復拡散最適化(IDO)技術である最適制御マッチング(SOCM)を導入する。 この制御は、一致するベクトル場に適合しようとすることで、最小二乗問題を通じて学習される。 実験により,本アルゴリズムは最適制御のための既存のすべての IDO 手法よりも低い誤差を実現する。
  論文  参考訳（メタデータ） (2023-12-04T16:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。