論文の概要: Outer-Momentum Restarting in High-Dimensional Two-Phase Optimization

• arxiv url: http://arxiv.org/abs/2605.28585v1
• Date: Wed, 27 May 2026 15:09:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:56.14199
• Title: Outer-Momentum Restarting in High-Dimensional Two-Phase Optimization
• Title（参考訳）: 高次元2相最適化におけるアウターモーメントリスタート
• Authors: Kristi Topollai, Allan Ma, Tolga Dimlioglu, Sui Jiet Tay, Anna Choromanska,
• Abstract要約: 本研究では,この外的記憶を制御するための単純な補完機構として,外的運動量の周期的再起動について検討する。 リセットが内部ループの進行を保ちながらスタル運動量を捨てて位相キャンセルを利用することを示すモードワイズ・リスタートを導出する。
• 参考スコア（独自算出の注目度）: 9.19375316970455
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Communication-efficient distributed optimizers such as DiLoCo reduce synchronization costs by letting workers perform many local updates before aggregating their progress with an outer momentum optimizer. Recent theory suggests that the outer optimizer acts on an effective spectrum induced by the inner optimization loop, and that the choice of outer momentum controls how progress from local updates is accumulated across communication rounds. We study periodic restarting of the outer momentum as a simple complementary mechanism for controlling this outer memory. In a linearized squared-loss model where prediction-space residuals evolve under the empirical NTK, we derive a mode-wise restart contraction showing that resets exploit phase cancellation by discarding stale momentum while preserving inner-loop progress. Toy experiments verify the predicted contraction behavior, and language-model pretraining experiments show that periodic restarts widen the stable range of outer learning rates and momentum values across communication periods.
• Abstract（参考訳）: DiLoCoのような通信効率のよい分散オプティマイザは、労働者が外部モーメントオプティマイザで進捗を集約する前に多くのローカル更新を実行することによって同期コストを削減する。 最近の理論では、外方オプティマイザは、内部最適化ループによって誘導される有効スペクトルに作用し、外方運動量の選択は、通信ラウンド間で局所的な更新からの進行がどのように蓄積されるかを制御することを示唆している。 本研究では,この外的記憶を制御するための単純な補完機構として,外的運動量の周期的再起動について検討する。 経験的NTKの下で予測空間残差が発展する線形化二乗モデルにおいて、リセットが内部ループの進行を保ちながらスタイル運動量を捨てて位相キャンセルを利用することを示すモードワイド再起動収縮を導出する。 トイ実験により予測された収縮挙動が検証され、言語モデル事前訓練実験により、周期的再起動が通信期間を通して安定した外的学習率と運動量値の範囲を広げることが示されている。

関連論文リスト

• LeapTS: Rethinking Time Series Forecasting as Adaptive Multi-Horizon Scheduling [74.94985663101906]
  本稿では,予測地平線上での動的スケジューリングプロセスとして時系列予測を再構成する新しいフレームワーク LeapTSを提案する。 LeapTSは、Transformerベースのモデルよりも2.6$times$から5.3$times$推論スピードアップを実現しつつ、全体的な予測性能を少なくとも7.4%向上させる。
  論文  参考訳（メタデータ） (2026-05-11T09:54:02Z)
• Goal-Oriented Reactive Simulation for Closed-Loop Trajectory Prediction [9.812666469580872]
  現在の軌道予測モデルは、主にオープンループ方式で訓練されている。 本稿では,高周波数・遅延型地平線エゴ予測に最適化されたオンライン閉ループトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-03-25T10:24:16Z)
• Stochastic Resetting Accelerates Policy Convergence in Reinforcement Learning [5.900714266080361]
  リセットは、ファーストパスプロパティを最適化するための強力なメカニズムである。 リセットは、純粋な拡散剤の探索時間を短縮しない場合でも収束を加速することを示す。 ニューラルネットワークに基づく値近似を用いた連続制御タスクにおいて、探索が困難な場合、ランダムリセットにより深層強化学習が向上することを示す。
  論文  参考訳（メタデータ） (2026-03-17T17:50:32Z)
• Conservative Continuous-Time Treatment Optimization [9.553261527696067]
  不規則な患者軌道から治療を最適化するための保守的連続時間制御フレームワークを開発した。 ベンチマークデータセットの実験では、非保守的なベースラインに比べて堅牢性とパフォーマンスが向上した。
  論文  参考訳（メタデータ） (2026-03-17T17:01:23Z)
• Closing the Loop: A Control-Theoretic Framework for Provably Stable Time Series Forecasting with LLMs [22.486083545585984]
  大規模言語モデル(LLM)は、最近、時系列予測において例外的な可能性を示している。 既存のアプローチは通常、単純で自己回帰的な生成戦略を採用している。 我々は,新しいクローズドループフレームワークである textbfF-LLM を提案する。
  論文  参考訳（メタデータ） (2026-02-13T09:35:12Z)
• Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
  コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
  論文  参考訳（メタデータ） (2025-10-09T04:48:49Z)
• Understanding Outer Optimizers in Local SGD: Learning Rates, Momentum, and Acceleration [47.14691094031726]
  Local Gradient Descent (Local SGD)のような手法は、この追加の通信オーバーヘッドを減らすことに非常に有望である。 本研究では,ローカルSGDにおける外部バッチの役割について検討し,新たな収束保証を証明した。 また,通信ラウンド数の関数として収束率を向上させることも示す。
  論文  参考訳（メタデータ） (2025-09-12T17:47:58Z)
• Confronting Reward Overoptimization for Diffusion Models: A Perspective of Inductive and Primacy Biases [76.9127853906115]
  拡散モデルと人間の嗜好のギャップを埋めることが、実用的生成への統合に不可欠である。 本稿では,拡散モデルの時間的帰納バイアスを利用したポリシー勾配アルゴリズムTDPO-Rを提案する。 実験の結果,報酬過小評価を緩和する手法が有効であることが示された。
  論文  参考訳（メタデータ） (2024-02-13T15:55:41Z)
• Truncating Trajectories in Monte Carlo Reinforcement Learning [48.97155920826079]
  強化学習(RL)において、エージェントは未知の環境で動作し、外部報酬信号の期待累積割引和を最大化する。 我々は,異なる長さの軌跡の収集につながるアプリオリ予算配分戦略を提案する。 軌道の適切な切り離しが性能向上に成功することを示す。
  論文  参考訳（メタデータ） (2023-05-07T19:41:57Z)
• Losing momentum in continuous-time stochastic optimisation [42.617042045455506]
  運動量に基づく最適化アルゴリズムは 特に広まりました 本研究では、運動量を伴う勾配降下の連続時間モデルを解析する。 また、画像分類問題において畳み込みニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2022-09-08T10:46:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。