論文の概要: Directional Consistency as a Complementary Optimization Signal: The GONO Framework
- arxiv url: http://arxiv.org/abs/2605.06575v1
- Date: Thu, 07 May 2026 17:05:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:12.019662
- Title: Directional Consistency as a Complementary Optimization Signal: The GONO Framework
- Title（参考訳）: 補完的最適化信号としての方向性整合性:GONOフレームワーク
- Abstract要約: 我々は、深層学習最適化における未探索現象を定式化し、指向性アライメントと損失収束を分離することができる。
本稿では,方向整合性の下でモーメントを増幅し,振動中にそれを抑圧する cc_t に基づいて,Adam の運動量ベータを適応させる GONO を紹介する。
我々は、GONOがAdamの収束率と一致することを証明し、信号が非形式的であるとき、正確にAdamに還元する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We identify and formalize an underexplored phenomenon in deep learning optimization: directional alignment and loss convergence can be decoupled. An optimizer can exhibit near-perfect directional consistency (cc_t -> 1, measured via consecutive gradient cosine similarity) while the loss remains high or decreases slowly. This observation reveals that existing optimizers such as Adam, SGD, and RMSprop lack explicit mechanisms to exploit temporal consistency in gradient directions, relying instead on magnitude-based signals that fail to distinguish plateaus, saddle points, and genuine convergence. Motivated by this, we introduce GONO (Gradient-Oriented Norm-Adaptive Optimizer), which adapts Adam's momentum coefficient beta_1 based on cc_t: amplifying momentum under directional consistency and suppressing it during oscillation. We prove GONO matches Adam's O(1/sqrt(T)) convergence rate and reduces exactly to Adam when the signal is uninformative. Empirically, cc_t achieves oscillation detection with F1=1.00 (vs. 0.45 for gradient norm), and GONO remains competitive with AdamW on MNIST (98.15%), CIFAR-10 (43.14%), and ResNet-18 (75.44%), establishing directional alignment as a theoretically grounded, practically actionable optimization signal. Code: https://github.com/victordaniel/gono-optimizer
- Abstract（参考訳）: 我々は、深層学習最適化における未探索現象を同定し、定式化し、指向性アライメントと損失収束を分離することができる。
最適化器は、損失が高いか減少する一方、ほぼ完全な方向整合性(cc_t -> 1)を示すことができる。
この観察により、Adam、SGD、RMSpropのような既存のオプティマイザは、勾配方向の時間的一貫性を利用するための明確なメカニズムを欠いていることが判明した。
そこで我々は, 方向整合性の下で運動量を増幅し, 振動中に抑制する GONO (Gradient-Oriented Norm-Adaptive Optimizer) を導入し, cc_t に基づいてアダムの運動量係数 β_1 を適応させる。
我々は、GONOがAdamのO(1/sqrt(T))収束率と一致することを証明し、信号が不変であるときにAdamに正確に還元する。
実証的には、cc_tはF1=1.00(勾配ノルムは0.45)で発振検出を達成し、GONOはMNIST(98.15%)、CIFAR-10(43.14%)、ResNet-18(75.44%)でAdamWと競合し続け、理論上は基礎的かつ実用的な最適化信号として方向アライメントを確立する。
コード:https://github.com/victordaniel/gono-optimizer
関連論文リスト
- Adaptively Incorporating Directional Hints into Zeroth-Order Optimization [49.940317286021696]
本研究では,非関数の次数ゼロの最適化を実現するアルゴリズムを開発した。
非制御タスクにおける持続的な進捗を示す手法を検証した。
論文 参考訳（メタデータ） (2026-09-08T05:42:02Z) - Singularity-aware Optimization via Randomized Geometric Probing: Towards Stable Non-smooth Optimization [8.412194372218895]
本研究では,Singularity-aware Adam (S-Adam)を紹介した。
S-アダムには適応減衰機構が組み込まれており、不安定な地域での更新を減速し、スムーズな盆地での高速収束を保っている。
最適量子化アウェアトレーニング(QAT)と高雑音小バッチ学習の実証評価は、S-AdamがAdamWとProx-SGDを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-05-28T08:00:40Z) - FlowAdam: Implicit Regularization via Geometry-Aware Soft Momentum Injection [0.0]
FlowAdamはAdamを通常の微分方程式(ODE)を介して連続的な勾配流積分で強化する
ソフトモーメントインジェクションはモード遷移中のAdamの運動量とODE速度を混合する。
結合された最適化ベンチマーク全体で、ODE統合は暗黙の正規化を提供し、ホールドアウトエラーを10-22%削減する。
論文 参考訳（メタデータ） (2026-04-08T03:57:52Z) - Causal Direction from Convergence Time: Faster Training in the True Causal Direction [0.0]
最適化力学に基づく因果方向同定の原理である因果計算非対称性(Causal Computational Asymmetric, CCA)を紹介する。
CCAは最適化時空間で動作し、RESIT、IGCI、SkewScoreなどの手法と区別する。
さらに、グラフ構造学習、因果情報圧縮、ポリシー最適化を統合したCausal Compression Learning(CCL)というフレームワークにCCAを組み込む。
論文 参考訳（メタデータ） (2026-02-24T21:34:57Z) - Silent Inconsistency in Data-Parallel Full Fine-Tuning: Diagnosing Worker-Level Optimization Misalignment [27.352639822596146]
クロスワーカーの損失と勾配のばらつきは、従来の監視信号では見えない。
本稿では,標準パイプラインで容易に利用できるトレーニング信号を用いて,作業者レベルの一貫性を定量化する,モデルに依存しない診断フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-16T04:42:30Z) - Unifying Sign and Magnitude for Optimizing Deep Vision Networks via ThermoLion [0.0]
現在のパラダイムは、情報チャネルドリフトパラメータに静的な妥協を課している。
我々は「低次元」探索モデルと「低次元」動的アライメントフレームワークを導入する。
論文 参考訳（メタデータ） (2025-12-01T17:04:17Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳（メタデータ） (2024-03-11T09:10:37Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。
また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文 参考訳（メタデータ） (2023-04-27T06:27:37Z) - Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。
本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
論文 参考訳（メタデータ） (2020-09-05T02:25:23Z) - ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。
ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
論文 参考訳（メタデータ） (2020-06-01T05:00:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。