Fugu-MT 論文翻訳(概要): Gradient Smoothing: Coupling Layer-wise Updates for Improved Optimization

論文の概要: Gradient Smoothing: Coupling Layer-wise Updates for Improved Optimization

arxiv url: http://arxiv.org/abs/2606.30813v1
Date: Mon, 29 Jun 2026 18:37:34 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-01 18:27:18.970644
Title: Gradient Smoothing: Coupling Layer-wise Updates for Improved Optimization
Title（参考訳）: Gradient Smoothing: 最適化改善のためのレイヤワイズアップデートの結合
Abstract要約: emphDepth-wise Gradient Augmentationを導入し、各層に適用した更新を、深さ次元に沿ってブロックワイズ更新の集合を変換することで、一般化した最適化手法を提案する。本フレームワークでは, 深度的に滑らかな手法群であるemphGradient Smoothingについて検討し, 簡単な局所的emphWindow Smoothing演算子でインスタンス化する。
参考スコア（独自算出の注目度）: 15.73948621729859
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep neural networks with repeated architectural blocks, such as transformers, often exhibit structured relationships across layers that emerge during training. Motivated by this observation, we introduce \emph{Depth-wise Gradient Augmentation}, a general optimization paradigm in which the update applied to each layer is obtained by transforming the collection of block-wise optimizer updates along the depth dimension. Within this framework, we study \emph{Gradient Smoothing}, a family of depth-wise smoothing methods, and instantiate it with a simple local \emph{Window Smoothing} operator. The resulting method operates directly on block-wise updates produced by arbitrary base optimizers (e.g., SGD, Adam, Muon), incurs minimal computational overhead, and is compatible with existing optimization pipelines. We evaluate Gradient Smoothing across a diverse set of architectures and training regimes, including language model pretraining, RL post-training of LLMs for reasoning, diffusion modeling, and image classification with Vision Transformers. Across these settings, Gradient Smoothing consistently improves optimization and generalization performance without modifying model architectures or training objectives. We further show that it promotes more structured representation evolution across depth, consistent with its interpretation as a structured depth-wise preconditioning method. Together, these results establish Depth-wise Gradient Augmentation as a promising framework for exploiting cross-depth structure in optimization and demonstrate Gradient Smoothing as a simple and broadly applicable instantiation.
Abstract（参考訳）: トランスフォーマーのような繰り返し発生するアーキテクチャブロックを持つディープニューラルネットワークは、トレーニング中に現れるレイヤ間の構造化された関係を示すことが多い。この観測により,各層に適用される更新は,深さ次元に沿ってブロックワイズ・オプティマイザ・アップデートの集合を変換することによって得られる,一般化された最適化パラダイムである \emph{Depth-wise Gradient Augmentation} を導入する。このフレームワーク内では、深度的に滑らかなメソッドの族である \emph{Gradient Smoothing} を研究し、簡単な局所的 \emph{Window Smoothing} 演算子でインスタンス化する。結果、任意のベースオプティマイザ(SGD、Adam、Muonなど)によって生成されるブロックワイズ更新を直接操作し、計算オーバーヘッドを最小限に抑え、既存の最適化パイプラインと互換性がある。言語モデル事前学習、推論のためのLLMのRLポストトレーニング、拡散モデリング、視覚変換器を用いた画像分類など、多種多様なアーキテクチャとトレーニング体制のグラディエント・スムーシングを評価する。これらの設定全体にわたって、Gradient Smoothingは、モデルアーキテクチャを変更したり、トレーニング目標を変更することなく、最適化と一般化のパフォーマンスを一貫して改善します。さらに、より構造化された表現の進化を促進することを示し、その解釈を構造化された深度ワイドプレコンディショニング法として解釈する。これらの結果は、最適化においてクロスディープス構造を利用するための有望なフレームワークとしてDepth-wise Gradient Augmentationを確立し、グラディエント・スムースティングをシンプルで広く適用可能なインスタンス化として実証する。

関連論文リスト

Neural Network Optimization Reimagined: Decoupled Techniques for Scratch and Fine-Tuning [49.751529745537546]
我々はDualOptを提案する。DualOptは、スクラッチからトレーニングに適した最適化技術を分離する新しいアプローチである。スクラッチからのトレーニングでは、収束と一般化の両面を強化するために設計されたリアルタイムな層ワイド・ウェイト・デポジットを導入する。我々は、異なる下流タスクの様々な要求に適応して、レイヤ単位の重量減衰を拡張して、レイヤ間のロールバックレベルを動的に調整する。
論文参考訳（メタデータ） (2026-04-21T06:27:18Z)
CogniEdit: Dense Gradient Flow Optimization for Fine-Grained Image Editing [88.9067184995168]
マルチモーダル推論と高密度報酬最適化を組み合わせた統合フレームワークCogniEditを提案する。本手法は,視覚的品質と編集可能性の保存に追従する微粒な命令のバランスをとることによって,最先端の性能を実現する。
論文参考訳（メタデータ） (2025-12-15T12:36:50Z)
IDAP++: Advancing Divergence-Based Pruning via Filter-Level and Layer-Level Optimization [38.16787019088681]
本稿では,フィルタとアーキテクチャの両レベルでの冗長性に対処するニューラルネットワーク圧縮に対する新しいアプローチを提案する。我々は,テンソルフローの分散という概念に基づいて,情報をネットワーク層間でどのように変換するかを定量化する。
論文参考訳（メタデータ） (2025-11-25T10:02:21Z)
TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree [52.44403214958304]
本稿では階層的な勾配の類似性を利用して階層型アダプタを構築する新しい手法であるTreeLoRAを紹介する。タスク類似度推定の計算負担を軽減するために,より低い信頼度境界に基づくアルゴリズムを開発するために,バンド手法を用いる。視覚変換器 (ViTs) と大規模言語モデル (LLMs) の両方を用いた実験により, 提案手法の有効性と有効性を示す。
論文参考訳（メタデータ） (2025-06-12T05:25:35Z)
Contextually Entangled Gradient Mapping for Optimized LLM Comprehension [0.0]
Entually Entangled Gradient Mapping (CEGM)は、勾配最適化に対する新しいアプローチを導入する。勾配を分離された数値エンティティではなく、コンテキスト依存の動的キャリアとして扱う。提案手法は,既存の最適化戦略において重要なギャップを埋めるものである。
論文参考訳（メタデータ） (2025-01-28T11:50:35Z)
Context-Aware Neural Gradient Mapping for Fine-Grained Instruction Processing [0.0]
本稿では、動的勾配調整機構を導入し、文脈埋め込みを直接最適化プロセスに組み込む。提案するフレームワークは,精度,ノイズに対する堅牢性,計算効率など,さまざまな指標のベースラインモデルよりも一貫して優れている。文脈固有の埋め込みの統合により、言語をより複雑な理解が可能となり、様々な言語現象を扱うモデルの能力が向上する。
論文参考訳（メタデータ） (2025-01-24T21:49:24Z)
CaAdam: Improving Adam optimizer using connection aware methods [0.0]
我々はAdamにインスパイアされた新しい手法を導入し、収束速度を高め、損失関数の最小化を実現する。 Adamを含む従来のプロキシは、アーキテクチャの詳細を考慮せずに、ニューラルネットワーク全体で均一またはグローバルに調整された学習率を適用している。我々のアルゴリズムであるCaAdamは、アーキテクチャ情報を慎重に設計することで、接続対応の最適化を導入することで、見落としている領域を探索する。
論文参考訳（メタデータ） (2024-10-31T17:59:46Z)
Multiplicative update rules for accelerating deep learning training and increasing robustness [69.90473612073767]
我々は、幅広い機械学習アルゴリズムに適合し、代替の更新ルールを適用することができる最適化フレームワークを提案する。提案するフレームワークはトレーニングを加速する一方、従来の追加更新ルールとは対照的に、より堅牢なモデルにつながります。
論文参考訳（メタデータ） (2023-07-14T06:44:43Z)
GradMax: Growing Neural Networks using Gradient Information [22.986063120002353]
本稿では,学習中に学習内容に影響を与えることなく新たなニューロンを付加し,トレーニングのダイナミクスを改良する手法を提案する。この手法をGradMax(GradMax)と呼び、様々な視覚タスクやアーキテクチャにおいてその効果を実証する。
論文参考訳（メタデータ） (2022-01-13T18:30:18Z)
Dynamically Grown Generative Adversarial Networks [111.43128389995341]
本稿では、ネットワークアーキテクチャとそのパラメータを自動化とともに最適化し、トレーニング中にGANを動的に成長させる手法を提案する。本手法はアーキテクチャ探索手法を勾配に基づく訓練とインターリーブステップとして組み込んで,ジェネレータと識別器の最適アーキテクチャ成長戦略を定期的に探究する。
論文参考訳（メタデータ） (2021-06-16T01:25:51Z)
Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。