論文の概要: Directional Consistency as a Complementary Optimization Signal: The GONO Framework

• arxiv url: http://arxiv.org/abs/2605.06575v1
• Date: Thu, 07 May 2026 17:05:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:12.019662
• Title: Directional Consistency as a Complementary Optimization Signal: The GONO Framework
• Title（参考訳）: 補完的最適化信号としての方向性整合性:GONOフレームワーク
• Authors: Victor Daniel Gera,
• Abstract要約: 我々は、深層学習最適化における未探索現象を定式化し、指向性アライメントと損失収束を分離することができる。 本稿では,方向整合性の下でモーメントを増幅し,振動中にそれを抑圧する cc_t に基づいて,Adam の運動量ベータを適応させる GONO を紹介する。 我々は、GONOがAdamの収束率と一致することを証明し、信号が非形式的であるとき、正確にAdamに還元する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We identify and formalize an underexplored phenomenon in deep learning optimization: directional alignment and loss convergence can be decoupled. An optimizer can exhibit near-perfect directional consistency (cc_t -> 1, measured via consecutive gradient cosine similarity) while the loss remains high or decreases slowly. This observation reveals that existing optimizers such as Adam, SGD, and RMSprop lack explicit mechanisms to exploit temporal consistency in gradient directions, relying instead on magnitude-based signals that fail to distinguish plateaus, saddle points, and genuine convergence. Motivated by this, we introduce GONO (Gradient-Oriented Norm-Adaptive Optimizer), which adapts Adam's momentum coefficient beta_1 based on cc_t: amplifying momentum under directional consistency and suppressing it during oscillation. We prove GONO matches Adam's O(1/sqrt(T)) convergence rate and reduces exactly to Adam when the signal is uninformative. Empirically, cc_t achieves oscillation detection with F1=1.00 (vs. 0.45 for gradient norm), and GONO remains competitive with AdamW on MNIST (98.15%), CIFAR-10 (43.14%), and ResNet-18 (75.44%), establishing directional alignment as a theoretically grounded, practically actionable optimization signal. Code: https://github.com/victordaniel/gono-optimizer
• Abstract（参考訳）: 我々は、深層学習最適化における未探索現象を同定し、定式化し、指向性アライメントと損失収束を分離することができる。 最適化器は、損失が高いか減少する一方、ほぼ完全な方向整合性(cc_t -> 1)を示すことができる。 この観察により、Adam、SGD、RMSpropのような既存のオプティマイザは、勾配方向の時間的一貫性を利用するための明確なメカニズムを欠いていることが判明した。 そこで我々は, 方向整合性の下で運動量を増幅し, 振動中に抑制する GONO (Gradient-Oriented Norm-Adaptive Optimizer) を導入し, cc_t に基づいてアダムの運動量係数 β_1 を適応させる。 我々は、GONOがAdamのO(1/sqrt(T))収束率と一致することを証明し、信号が不変であるときにAdamに正確に還元する。 実証的には、cc_tはF1=1.00(勾配ノルムは0.45)で発振検出を達成し、GONOはMNIST(98.15%)、CIFAR-10(43.14%)、ResNet-18(75.44%)でAdamWと競合し続け、理論上は基礎的かつ実用的な最適化信号として方向アライメントを確立する。 コード:https://github.com/victordaniel/gono-optimizer

関連論文リスト

• FlowAdam: Implicit Regularization via Geometry-Aware Soft Momentum Injection [0.0]
  FlowAdamはAdamを通常の微分方程式(ODE)を介して連続的な勾配流積分で強化する ソフトモーメントインジェクションはモード遷移中のAdamの運動量とODE速度を混合する。 結合された最適化ベンチマーク全体で、ODE統合は暗黙の正規化を提供し、ホールドアウトエラーを10-22%削減する。
  論文  参考訳（メタデータ） (2026-04-08T03:57:52Z)
• Silent Inconsistency in Data-Parallel Full Fine-Tuning: Diagnosing Worker-Level Optimization Misalignment [27.352639822596146]
  クロスワーカーの損失と勾配のばらつきは、従来の監視信号では見えない。 本稿では,標準パイプラインで容易に利用できるトレーニング信号を用いて,作業者レベルの一貫性を定量化する,モデルに依存しない診断フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-16T04:42:30Z)
• Unifying Sign and Magnitude for Optimizing Deep Vision Networks via ThermoLion [0.0]
  現在のパラダイムは、情報チャネルドリフトパラメータに静的な妥協を課している。 我々は「低次元」探索モデルと「低次元」動的アライメントフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-12-01T17:04:17Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
  我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。 また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
  論文  参考訳（メタデータ） (2023-04-27T06:27:37Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)
• ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
  本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。 ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
  論文  参考訳（メタデータ） (2020-06-01T05:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。