論文の概要: Unifying Sign and Magnitude for Optimizing Deep Vision Networks via ThermoLion
- arxiv url: http://arxiv.org/abs/2512.01881v1
- Date: Mon, 01 Dec 2025 17:04:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-02 19:46:34.973676
- Title: Unifying Sign and Magnitude for Optimizing Deep Vision Networks via ThermoLion
- Title（参考訳）: ThermoLionによる深部視覚ネットワーク最適化のための信号とマグニチュードの統一
- Authors: Ahmed Nebli,
- Abstract要約: 現在のパラダイムは、情報チャネルのドリフト能力に静的な妥協を課している。
本稿では,更新ベンチマークの動的変調を利用するフレームワークであるThermoLion(Sbf)を紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The training of deep vision models is fundamentally a signal recovery problem amidst high-dimensional stochastic noise. Current optimization paradigms impose a static compromise on information channel capacity. For instance, magnitude-based methods, such as AdamW, operate on the assumption that gradient norms are high-fidelity curvature signals. While this allows for precision in smooth regimes, it leads to catastrophic noise amplification when applied to rugged, non-convex landscapes. Conversely, sign-based methods (e.g., Lion) perform a radical 1-bit quantization of the gradient, which aims to provide robust regularization at the cost of discarding fine-grained descent information. We propose that optimal convergence requires neither static prior, but rather a dynamic modulation of the update bitrate. We introduce \textbf{ThermoLion}, a vision-centric framework that utilizes local Signal-to-Noise Ratio (SNR) gating to autonomously transition parameters between a "low-bit" exploration phase and a "high-precision" exploitation phase. Furthermore, we introduce a Momentum Alignment mechanism that detects constructive interference between historical drift and instantaneous gradients to accelerate convergence during stable trajectories. Empirical benchmarks across 12 diverse vision datasets (including CIFAR, SVHN, and GTSRB) demonstrate that ThermoLion serves as a hyperparameter-free generalist, surpassing both AdamW and Lion in convergence speed and terminal accuracy without architecture-specific tuning.
- Abstract（参考訳）: ディープビジョンモデルの訓練は、基本的には高次元確率ノイズの信号回復問題である。
現在の最適化パラダイムは、情報チャネルの容量に静的な妥協を課している。
例えば、AdamWのような等級法は、勾配ノルムが高忠実度曲率信号であるという仮定で機能する。
これによりスムーズなレジームでの精度が向上するが、頑丈で非凸な風景に適用すると破滅的な雑音が増幅される。
逆に、符号ベースの手法(例:ライオン)は勾配の急進的な1ビット量子化を行い、微粒な降下情報を破棄するコストで頑健な正則化を提供することを目的としている。
我々は、最適収束は静的先行ではなく、更新ビットレートの動的変調を必要とすることを提案する。
本稿では、局所的な信号対雑音比(SNR)ゲーティングを利用して「低ビット」探索フェーズと「高精度」攻撃フェーズの間でパラメータを自律的に遷移させる視覚中心のフレームワークである「textbf{ThermoLion}」を紹介する。
さらに, 安定軌道における収束を加速するために, 歴史的ドリフトと瞬時勾配の間の建設的干渉を検出するモーメントムアライメント機構を導入する。
12の多様な視覚データセット(CIFAR、SVHN、GTSRBを含む)にわたる実証的なベンチマークでは、ThermoLionがハイパーパラメータフリーのジェネラリストとして機能し、アーキテクチャ固有のチューニングなしでAdamWとLionの両方を収束速度と終端精度で上回っていることが示されている。
関連論文リスト
- ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
ResADは正規化された残留軌道モデリングフレームワークである。
学習タスクを再編成し、慣性参照からの残留偏差を予測する。
NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
論文 参考訳（メタデータ） (2025-10-09T17:59:36Z) - Time-Scale Coupling Between States and Parameters in Recurrent Neural Networks [3.924071936547547]
ゲーテッドニューラルネットワーク(RNN)は、適応的な学習速度の振る舞いを暗黙的に誘発する。
効果は状態空間の時間スケールとパラメータ空間のダイナミクスの結合から生じる。
経験的シミュレーションはこれらの主張を裏付ける。
論文 参考訳（メタデータ） (2025-08-16T18:19:34Z) - Sample Margin-Aware Recalibration of Temperature Scaling [20.87493013833571]
近年のディープラーニングの進歩は予測精度を大幅に改善した。
現代のニューラルネットワークは体系的に過信され、安全クリティカルなシナリオに展開するリスクを生じさせる。
本稿では,上位2つのロジット間のマージンに基づいて,ロジットを正確にスケールする軽量でデータ効率の高いリカバリ手法を提案する。
論文 参考訳（メタデータ） (2025-06-30T03:35:05Z) - Nesterov Method for Asynchronous Pipeline Parallel Optimization [59.79227116582264]
パイプライン並列処理における非同期最適化のために,Nesterov Accelerated Gradient (NAG) の変種を導入する。
具体的には、NAGのルックアヘッドステップを変更して、勾配の安定性を効果的に解決する。
我々は、勾配の固定遅延の存在下で、我々のアプローチがサブ線形速度で収束することを理論的に証明する。
論文 参考訳（メタデータ） (2025-05-02T08:23:29Z) - A Langevin sampling algorithm inspired by the Adam optimizer [0.0]
本稿では,時間スケールのLangevinダイナミクスに基づく適応段階MCMCサンプリングのためのフレームワークを提案する。
我々のアルゴリズムは実装が簡単で、任意のオフザペグの固定ステップLangevinインテグレータと簡単に組み合わせることができる。
論文 参考訳（メタデータ） (2025-04-26T12:57:57Z) - Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。
我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。
我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
論文 参考訳（メタデータ） (2024-10-21T22:40:42Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳（メタデータ） (2024-03-11T09:10:37Z) - Implicit Bias and Fast Convergence Rates for Self-attention [26.766649949420746]
本稿では,変圧器の定義機構である自己注意の基本的な最適化原理について考察する。
線形分類におけるデコーダを用いた自己アテンション層における勾配ベースの暗黙バイアスを解析する。
論文 参考訳（メタデータ） (2024-02-08T15:15:09Z) - Latent Class-Conditional Noise Model [54.56899309997246]
本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。
次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。
提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
論文 参考訳（メタデータ） (2023-02-19T15:24:37Z) - Pushing the Envelope of Rotation Averaging for Visual SLAM [69.7375052440794]
視覚SLAMシステムのための新しい最適化バックボーンを提案する。
従来の単分子SLAMシステムの精度, 効率, 堅牢性を向上させるために, 平均化を活用している。
我々のアプローチは、公開ベンチマークの最先端技術に対して、同等の精度で最大10倍高速に表示することができる。
論文 参考訳（メタデータ） (2020-11-02T18:02:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。