論文の概要: Gradient Shaping Beyond Clipping: A Functional Perspective on Update Magnitude Control

• arxiv url: http://arxiv.org/abs/2510.01578v1
• Date: Thu, 02 Oct 2025 01:54:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.94226
• Title: Gradient Shaping Beyond Clipping: A Functional Perspective on Update Magnitude Control
• Title（参考訳）: クラッピングを超えたグラディエントシェイピング:更新マグニチュード制御の機能的展望
• Abstract要約: SPAMP(Statistical Per-layer Adaptive Modulation and Projection)は、スムーズな層ごとの勾配形状にクリッピングを一般化する統一フレームワークである。 SPAMPは局所的な勾配統計を追跡し、しきい値を動的に推定し、電力ベースの変換を適用して、異なる方法で更新の規模を変調する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient clipping is widely used to stabilize deep network training, but its formulation as a hard, fixed threshold limits flexibility and ignores gradient distribution dynamics. We propose SPAMP (Statistical Per-layer Adaptive Modulation and Projection), a unified framework that generalizes clipping into smooth, per-layer gradient shaping. SPAMP tracks local gradient statistics, dynamically estimates thresholds, and applies power-based transformations to modulate update magnitudes in a differentiable manner. This perspective recasts clipping and warmup as dual mechanisms for controlling the effective update scale $\eta_t \|g_t\|$, offering a principled alternative to rigid heuristics. Extensive experiments across image and language tasks demonstrate that SPAMP improves stability, convergence, and robustness over existing methods.
• Abstract（参考訳）: グラディエントクリッピングは、ディープネットワークトレーニングの安定化に広く用いられているが、その定式化は、ハードで固定された閾値制限の柔軟性であり、勾配分布のダイナミクスを無視する。 本研究では,スムーズな層ごとの勾配形状にクリッピングを一般化するSPAMP(Statistical Per-layer Adaptive Modulation and Projection)を提案する。 SPAMPは局所的な勾配統計を追跡し、しきい値を動的に推定し、電力ベースの変換を適用して、異なる方法で更新の規模を変調する。 この視点は、クリッピングとウォームアップを効果的な更新スケールを制御するための二重メカニズムとして再放送し、剛性ヒューリスティックスの原則的な代替手段を提供する。 画像および言語タスクにわたる広範な実験は、SPAMPが既存の手法よりも安定性、収束性、堅牢性を向上させることを示した。

関連論文リスト

• ReFPO: Reflow Regularization for Flow Matching Policy Gradients [58.32178725687043]
  本稿では,フローマッチングポリシーに明示的なリフロー正規化を追加する,シンプルなオンラインRL手法を提案する。 ReFPOはGridWorld, MuJoCo Playground, および高次元ヒューマノイド制御タスクにおける平均性能と離散化を改善することを実験的に実証した。
  論文  参考訳（メタデータ） (2026-06-19T04:23:10Z)
• MoASE++: Mixture of Activation Sparsity Experts with Domain-Adaptive On-policy Distillation for Continual Test Time Adaptation [65.068801413044]
  連続的なテスト時間適応は、非定常な未ラベルのターゲットストリームにソース予測モデルを適用する。 ドメインに依存しない構造をドメイン固有のテクスチャから切り離す。
  論文  参考訳（メタデータ） (2026-05-18T01:52:12Z)
• Power Reinforcement Post-Training of Text-to-Image Models with Super-Linear Advantage Shaping [66.25536973294726]
  テキスト・トゥ・イメージ(T2I)モデルのポストトレーニング手法はハッキングに報いる傾向がある。 SLAS(Super-Linear Advantage Shaping)は、地方政策の分野を再考する。 SLASは、DanceGRPOベースラインを複数のバックボーンとベンチマークで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-11T17:59:25Z)
• NeuroPlastic: A Plasticity-Modulated Optimizer for Biologically Inspired Learning Dynamics [9.309128231118969]
  NeuroPlasticは、適応的な多信号変調機構で勾配ベースの更新を強化する、塑性変調アルゴリズムである。 画像分類ベンチマーク全体において、NeuroPlasticは、制御された勾配のみのアブレーションよりも一貫して改善されている。 これらの結果から, 多信号の塑性刺激による変調は, 従来の勾配駆動最適化への有用な拡張となることが示唆された。
  論文  参考訳（メタデータ） (2026-04-29T04:52:21Z)
• Compatibility-Aware Dynamic Fine-Tuning for Large Language Models [48.855385240803436]
  Supervised Fine-Tuning (SFT) は、大規模言語モデル (LLM) の調整における主要なパラダイムである。 最近の研究は、この問題を病理学的勾配のスケーリングに起因し、トークンレベルでの修正のために動的微調整(DFT)を提案する。 本稿では、サンプルレベルの最適化分散を制御するDFTの原理的拡張であるCompatibility-Aware Dynamic Fine-Tuning(CADFT)を紹介する。
  論文  参考訳（メタデータ） (2026-04-22T14:47:30Z)
• An Adaptive Differentially Private Federated Learning Framework with Bi-level Optimization [10.218291445871435]
  フェデレーション学習は、データプライバシを保持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。 実際の展開では、デバイスの不均一性、非独立性、および同一に分散された(Non-IID)データは、しばしば非常に不安定で偏りのある勾配更新をもたらす。 異種およびプライバシー制約のある環境下でモデル効率を明示的に目標とする適応型微分プライベートなフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-06T16:27:33Z)
• SpanNorm: Reconciling Training Stability and Performance in Deep Transformers [55.100133502295996]
  両パラダイムの強度を統合することでジレンマを解消する新しい手法であるSpanNormを提案する。 我々は、SpanNormと原則付きスケーリング戦略を組み合わせることで、ネットワーク全体にわたって有界信号のばらつきを維持できることを理論的に示す。 経験的に、SpanNormは、密集および混成実験(Mixture-of-Experts、MoE)のシナリオにおいて、標準正規化スキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-01-30T05:21:57Z)
• Provably Convergent Decentralized Optimization over Directed Graphs under Generalized Smoothness [1.5892054128426507]
  ヘッセンノルムは勾配ノルムとともに線型に成長することを許され、したがってリプシッツの滑らかさを超えて急速に変化する勾配を調節する。 我々は、指向性通信グラフ上の正確な収束を保証するため、勾配追従手法と勾配クリッピングを統合する。 本研究の結果は, 勾配差が非有界である場合でも有効であり, 提案手法は現実的な異種データ環境に適用可能である。
  論文  参考訳（メタデータ） (2026-01-07T04:25:33Z)
• Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning [49.92803982100042]
  我々は,現在の政策と過去の政策のエントロピー比を新たなグローバル指標として用いることを提案する。 エントロピー比に双方向の制約を課すtextbfEntropy Ratio (ERC) 機構を導入する。 これは、グローバルな分布レベルでの政策更新を安定化させ、未サンプリングアクションの確率シフトを規制するPPOクリップの不能を補償する。
  論文  参考訳（メタデータ） (2025-12-05T10:26:32Z)
• Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
  強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。 本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。 アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
  論文  参考訳（メタデータ） (2025-10-01T12:29:32Z)
• Insights from Gradient Dynamics: Gradient Autoscaled Normalization [0.0]
  勾配力学は、ディープニューラルネットワークの安定性と一般化を決定する上で中心的な役割を果たす。 本研究では,階層間の一貫した変化と畳み込みネットワークのグローバルスケールを示すため,学習中に勾配のばらつきと標準偏差がどのように進化するかを実証的に分析する。 これらの観測により、勾配のスケーリングと自然進化を整合させる超パラメータフリー勾配正規化法を提案する。
  論文  参考訳（メタデータ） (2025-09-03T19:54:23Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Scale-Distribution Decoupling: Enabling Stable and Effective Training of Large Language Models [21.16132396642158]
  訓練安定性は、大規模言語モデル(LLM)の事前学習における永続的な課題である 完全連結層における重み行列のスケールと分布を明示的に分離し,トレーニングを安定させる手法として,SDD(Scale-Distribution Decoupling)を提案する。
  論文  参考訳（メタデータ） (2025-02-21T14:49:34Z)
• Adaptive Horizon Actor-Critic for Policy Learning in Contact-Rich Differentiable Simulation [36.308936312224404]
  本稿では, FO-MBRLアルゴリズムであるAdaptive Horizon Actor-Critic (AHAC)を提案する。 実験結果から,AHACはMFRLベースラインより優れており,ローコモーションタスク全体で40%以上の報酬が得られ,壁面時間効率が向上した高次元制御環境への効率なスケーリングが可能であった。
  論文  参考訳（メタデータ） (2024-05-28T03:28:00Z)
• Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
  本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。 AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。 AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2024-03-12T11:48:49Z)
• SDGMNet: Statistic-based Dynamic Gradient Modulation for Local Descriptor Learning [44.69439245287881]
  本稿では,局所記述子学習における三重項損失を改善するためにSDGMNetという動的勾配変調を提案する。 本稿では,一般的な三重項に基づく損失のバック伝播に関する深い解析を行い,距離測定のための包含角度を導入する。 我々の新しい記述子は、パッチ検証、マッチング、検索タスクを含む標準ベンチマークにおける過去の最先端技術を上回っている。
  論文  参考訳（メタデータ） (2021-06-08T15:10:31Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。