論文の概要: HORST: Composing Optimizer Geometries for Sparse Transformer Training

• arxiv url: http://arxiv.org/abs/2605.21104v1
• Date: Wed, 20 May 2026 12:34:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.669986
• Title: HORST: Composing Optimizer Geometries for Sparse Transformer Training
• Title（参考訳）: HORST:スパース変圧器訓練のための最適化器ジオメトリの構成
• Authors: Tom Jacobs, Rohan Jain, Rebekka Burkholz,
• Abstract要約: そこで本研究では,非可換演算子として,最適化幾何学を原理的に解析・組み合わせるためのステップの構成を提案する。 HORST(Hyperbolic Operator for Robust Sparse Training)は、適応的な手法から安定性を継承するモジュラー演算子である。 本実験は,視覚と言語の両方のタスクにおいて,トランスフォーマーのスパーストレーニングに有用であることを示す。
• 参考スコア（独自算出の注目度）: 27.352224384063348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparsifying transformers remains a fundamental challenge, as standard optimizers fail to simultaneously encourage sparsity and maintain training stability. Effective adaptive optimizers exhibit an implicit $L_{\infty}$ bias favoring stability, yet, sparsity requires an $L_1$ bias. To integrate sparsity, we propose a composition of optimizer steps, which we cast as non-commutative operators to analyze and combine their optimization geometry in a principled way. This yields HORST (Hyperbolic Operator for Robust Sparse Training), a modular optimizer that inherits stability from adaptive methods while inducing $L_1$ sparsity bias through a hyperbolic mirror map. Our experiments demonstrate its utility for sparse training of transformers on both vision and language tasks. HORST consistently and significantly outperforms AdamW baselines across all sparsity levels, with large gains at higher sparsity.
• Abstract（参考訳）: 標準的なオプティマイザは、スパーシティを同時に奨励し、トレーニングの安定性を維持するのに失敗するため、スカラートランスフォーマーは依然として根本的な課題である。 効果的な適応オプティマイザは、安定性を優先する暗黙の$L_{\infty}$バイアスを示すが、スパーシティは$L_1$バイアスを必要とする。 空間性を統合するために,非可換演算子として提案する最適化ステップの合成を提案し,その最適化幾何を原理的に解析・結合する。 HORST(Hyperbolic Operator for Robust Sparse Training)は、適応的なメソッドから安定性を継承するモジュールオプティマイザである。 本実験は,視覚と言語の両方のタスクにおいて,トランスフォーマーのスパーストレーニングに有用であることを示す。 HORSTは、AdamWベースラインを全てのスパシティレベルにわたって一貫して大幅に上回り、より高いスパシティでは大きな上昇をみせている。

関連論文リスト

• PowerStep: Memory-Efficient Adaptive Optimization via $\ell_p$-Norm Steepest Descent [29.903629736539013]
  AdaptiveはTransformerなどの大規模ニューラルネットワークをトレーニングするための標準標準になっています。 本稿では,第2モーメント統計を使わずにモーメントワイド適応性を実現するメモリ効率のPowerStepを紹介する。 Transformerモデルの実験では、PowerStepはメモリを半減しながらAdams収束速度と一致している。
  論文  参考訳（メタデータ） (2026-05-11T10:36:27Z)
• Adaptive Regularization for Sparsity Control in Bregman-Based Optimizers [14.98763942493771]
  本稿では,モデルの現在の空間とターゲット空間との差に基づいて$$を更新する適応正規化手法を提案する。 提案手法は,75%から99%の範囲の空間的目標を確実に達成する。 初期のトレーニングでは、オラクルで調整された非適応ベースラインよりも早く収束し、同じエラー率で最終的なパフォーマンスを達成または上回っている。
  論文  参考訳（メタデータ） (2026-05-08T15:37:24Z)
• Nora: Normalized Orthogonal Row Alignment for Scalable Matrix Optimizer [52.9566744833465]
  大規模言語モデル(LLM)を学習するためのマトリックスベースのアプローチは、大きな可能性を実証している。 効率性、最適化を加速するためにミューオンのようなプレコンディショニングを達成すること、安定性、ニューラルネットワークの本質に厳密に固執すること、計算オーバーヘッドを最小化すること、の3つのコアデシダータを満たす必要がある。 我々は,3つの要件をすべて厳格に満たし,大規模トレーニングに非常に有望なNoraを提案する。
  論文  参考訳（メタデータ） (2026-05-05T14:00:27Z)
• Neural Network Pruning via QUBO Optimization [0.08796261172196741]
  グローバル最適化による推定の重要性を橋渡しするハイブリッドQUBOフレームワークを提案する。 本定式化では,2次項におけるデータ駆動的類似性を活用しながら,勾配認識感度指標を線形項に統合する。 SIDD画像復調データセットの実験では、提案されたハイブリッドQUBOは、グリーディ・テイラープルーニングと従来のL1ベースのQUBOの両方で著しく優れていた。
  論文  参考訳（メタデータ） (2026-04-07T13:16:40Z)
• Variational Entropic Optimal Transport [67.76725267984578]
  本稿では,ドメイン翻訳問題に対する変分エントロピー最適輸送(VarEOT)を提案する。 VarEOTは、補助正の正規化子上のトラクタブルな一般化として、log-partition $log mathbbE[exp(cdot)$の正確な変分再構成に基づいている。 合成データと画像と画像の変換に関する実験は、競争力のあるか、あるいはより良い翻訳品質を示す。
  論文  参考訳（メタデータ） (2026-02-02T15:48:44Z)
• AlphaGrad: Non-Linear Gradient Normalization Optimizer [0.0]
  我々は、Adamのような適応型メソッドのメモリオーバーヘッドと複雑さに対処するメモリ効率が高く、条件のないAlphaGradを紹介します。 AlphaGrad はテンソルワイド L2 正規化によってスケール不変性を強制し、その後スムーズな双曲タンジェント変換を行う。 Adamと比べ、AlphaGradは高度にコンテキストに依存したパフォーマンスプロファイルを示している。
  論文  参考訳（メタデータ） (2025-04-22T16:33:14Z)
• MADA: Meta-Adaptive Optimizers through hyper-gradient Descent [73.1383658672682]
  メタ適応(MADA)は、複数の既知の収束を一般化し、トレーニング中に最も適した収束を動的に学習できる統合フレームワークである。 私たちは、MADAを視覚や言語タスクに関する他の人気と経験的に比較し、MADAがAdamや他の人気を一貫して上回っていることに気付きました。 AVGradは最大演算子を平均演算子に置き換えたもので、高次最適化に適している。
  論文  参考訳（メタデータ） (2024-01-17T00:16:46Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。