論文の概要: AutoNorm: Understanding Adaptive Normalization in Transformers through Differentiable Gating
- arxiv url: http://arxiv.org/abs/2607.10593v1
- Date: Sun, 12 Jul 2026 06:12:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.476872
- Title: AutoNorm: Understanding Adaptive Normalization in Transformers through Differentiable Gating
- Title（参考訳）: AutoNorm: 微分ゲーティングによる変圧器の適応正規化理解
- Abstract要約: 正規化はトランスフォーマーのトレーニングを安定化するための重要な要素である。
本稿では,微分可能正規化ゲーティングにおける鍵となる最適化課題について検討する。
ゲートフリーズスケジュールによる最適化不安定性を緩和するトレーニング戦略であるAutoNorm-S(Stabilized)を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Normalization is a critical component for stabilizing Transformer training, yet the choice between static strategies such as Layer Normalization (LN) and adaptive alternatives remains largely task-dependent. In this paper, we investigate a key optimization challenge in differentiable normalization gating. Our experiments show that, on relatively stationary vision tasks, the high gradient variance introduced by Gumbel-Softmax gating can hinder convergence of the routing mechanism, causing learned gates to underperform simple random selection. In contrast, on non-stationary language modeling and classification tasks, sustained gating diversity enables the model to learn more effective layer-wise normalization policies. Motivated by these observations, we propose AutoNorm-S (Stabilized), a training strategy that mitigates optimization instability through a gate-freezing schedule. AutoNorm-S achieves competitive or improved performance across multiple benchmarks, outperforming adaptive normalization baselines on NLP datasets, including PTB and SST-2, while remaining competitive on standard vision benchmarks. These results suggest that decoupling normalization selection from optimization noise provides a practical and principled approach for adaptive normalization in Transformer architectures.
- Abstract（参考訳）: 正規化はトランスフォーマーのトレーニングを安定化するための重要な要素であるが、レイヤ正規化(LN)や適応的な代替手段といった静的戦略の選択は、主にタスク依存のままである。
本稿では,微分可能正規化ゲーティングにおける鍵となる最適化課題について検討する。
実験の結果,Gumbel-Softmax ゲーティングによって導入された高勾配分散は,比較的定常的な視覚タスクにおいてルーティング機構の収束を阻害し,学習ゲートが単純なランダム選択を過小評価することを示した。
対照的に、非定常言語モデリングおよび分類タスクでは、持続的なゲーティングの多様性により、モデルはより効果的なレイヤーワイド正規化ポリシーを学習することができる。
これらの観測により,ゲートフリーズスケジュールによる最適化不安定性を緩和するトレーニング戦略であるAutoNorm-S(Stabilized)を提案する。
AutoNorm-Sは、PTBやSST-2を含むNLPデータセットの適応正規化ベースラインよりも優れ、標準的なビジョンベンチマークでは競争力を維持しながら、複数のベンチマーク間での競争力やパフォーマンスの向上を実現している。
これらの結果は、最適化ノイズから正規化選択を分離することは、トランスフォーマーアーキテクチャにおける適応正規化の実践的で原則的なアプローチをもたらすことを示唆している。
関連論文リスト
- LiFT: Local Search via Linear Programming for Overfitting-Controlled Transformers [0.16866396683295748]
本稿では,過適合に対する明示的な制御を施した微調整変圧器モデルのための線形プログラミング(LP)に基づく局所探索フレームワークを提案する。
GPT-2 WikiText-2 での小型化実験により,変圧器ブロックと正規化パラメータの選択的チューニングにより,LiFT が効果的に適応できることが実証された。
論文 参考訳（メタデータ） (2026-06-15T05:42:59Z) - DVAO: Dynamic Variance-adaptive Advantage Optimization for Multi-reward Reinforcement Learning [4.844785181175473]
グループ相対ポリシー最適化は、プロキシポリシー最適化に代わる効率的で価値のない代替手段を提供する。
Reward CombinationやAdvantage Combinationのような標準的なスカラー化のプラクティスは、重大な欠点に悩まされている。
本研究では,各目的の報酬分散に基づく組み合わせ重み付けを動的に調整する動的変数適応型アドバンテージ最適化(DVAO)を提案する。
論文 参考訳（メタデータ） (2026-05-25T08:55:16Z) - Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳（メタデータ） (2026-04-20T16:43:28Z) - Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。
SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。
複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
論文 参考訳（メタデータ） (2026-02-01T12:56:10Z) - A Constrained Optimization Perspective of Unrolled Transformers [77.12297732942095]
我々は、最適化降下アルゴリズムのように振る舞う変圧器の訓練のための制約付き最適化フレームワークを導入する。
拘束型変圧器は摂動の強靭性を実現し,より高い分布分布一般化を維持する。
論文 参考訳（メタデータ） (2026-01-24T02:12:39Z) - MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。
我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。
本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
論文 参考訳（メタデータ） (2026-01-12T05:02:48Z) - Reliable Optimization Under Noise in Quantum Variational Algorithms [0.05219568203653522]
有限ショットサンプリングノイズにより,変分量子固有解法が困難であることを示す。
適応的メタヒューリスティックスは最も効果的でレジリエントな戦略である。
論文 参考訳（メタデータ） (2025-11-11T14:21:43Z) - Gradient Correction in Federated Learning with Adaptive Optimization [19.93709245766609]
クライアント-ドリフト補償を適応最適化に組み込む最初のアルゴリズムである tt FAdamGC を提案する。
tt FAdamGCは、様々なレベルのデータの通信とコストにおいて、既存の手法よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2025-02-04T21:21:30Z) - Adaptive Experimentation at Scale: A Computational Framework for
Flexible Batches [7.390918770007728]
結果がバッチで測定される少数の実測を含む実例によって動機付けられ,適応駆動型実験フレームワークを開発した。
我々の主な観察は、統計的推論において普遍的な正規近似は適応アルゴリズムの設計を導くことができることである。
論文 参考訳（メタデータ） (2023-03-21T04:17:03Z) - Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。
セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。
提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
論文 参考訳（メタデータ） (2020-12-08T18:59:32Z) - Stochastic batch size for adaptive regularization in deep network
optimization [63.68104397173262]
ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。
一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
論文 参考訳（メタデータ） (2020-04-14T07:54:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。