論文の概要: When Descent Is Too Stable: Event-Triggered Hamiltonian Learning to Optimize
- arxiv url: http://arxiv.org/abs/2605.06868v1
- Date: Thu, 07 May 2026 19:10:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:38.570333
- Title: When Descent Is Too Stable: Event-Triggered Hamiltonian Learning to Optimize
- Title（参考訳）: Descentが安定すぎるとき: イベントトリガーでハミルトンの学習を最適化する
- Authors: Yi Wang, Chandrajit Bajaj,
- Abstract要約: 固定予算の非最適化は、局所的な降下が安定すぎるため失敗する可能性がある。
本稿では,イベントトリガーによるミニマハンティングのためのアダプティブHamilton的タスクファミリーについて紹介する。
- 参考スコア（独自算出の注目度）: 4.395018007457715
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Fixed-budget nonconvex optimization can fail not because local descent is unstable, but because it is too stable: after reaching a nearby stationary point, an optimizer may spend the remaining evaluations refining an uninformative local minimum. We formulate this failure mode as a control problem over optimizer dynamics, where the learner must decide when to descend, when to exploit a promising basin, and when stagnation should trigger movement elsewhere. We introduce SHAPE, a structured adaptive port-Hamiltonian task-family optimizer for event-triggered minima hunting under local information. Starting from gradient-descent dynamics, SHAPE lifts optimization to an augmented phase space $(q, p)$, where the primal state $q$ represents the candidate solution, the cotangent variable $p$ carries directional sensitivity, and a controller $u$ provides processed information from current gradient oracle. Within each stage, a learned Hamiltonian vector field induces structured local descent; across stages, a fixed event clock in the implementation updates ports and memory when local equilibria are detected, with stage-dependent horizons treated in the analysis as a direct generalization. This design preserves a passivity-compatible structure while allowing the same trained policy to use clean, stochastic, or estimated gradient inputs. Experiments on fixed-budget nonconvex optimization tasks show that SHAPE improves best-so-far performance compared with fixed-policy optimizers. These results suggest that adaptive Hamiltonian energy shaping provides a principled mechanism for balancing descent, exploration, and budget allocation in difficult optimization landscapes.
- Abstract（参考訳）: 固定予算の非凸最適化は、局所的な降下が不安定であるためではなく、安定すぎるため失敗することがある。
我々は、この障害モードを最適化力学の制御問題として定式化し、学習者はいつ降下するか、いつ将来性のある盆地を利用するか、いつ停滞するかを判断しなければならない。
SHAPEは、局所情報に基づくイベントトリガーされたミニマハンティングのための構造化された適応ポート-ハミルトンタスク-セグメンテーションオプティマイザである。
SHAPEは勾配のダイナミックスから始めて、最適化を拡張位相空間$(q, p)$に上げ、そこでは原始状態$q$が候補解を表し、余接変数$p$が方向感度を持ち、コントローラ$u$が現在の勾配オラクルから処理された情報を提供する。
各段階において、学習されたハミルトンベクトル場は構造化された局所降下を誘導し、各段階において、局所平衡が検出されたとき、実装中の固定されたイベントクロックがポートとメモリを更新し、解析においてステージ依存の地平線が直接一般化として扱われる。
この設計は、パスティビティ互換の構造を保ちながら、同じ訓練されたポリシーで、クリーンで確率的、あるいは推定された勾配入力を使用できる。
固定予算非凸最適化タスクの実験により、SHAPEは固定ポリティクスオプティマイザに比べて最高の性能向上を示す。
これらの結果は、適応的なハミルトンエネルギー形成が、難しい最適化ランドスケープにおける降下、探索、予算配分のバランスをとるための原則的なメカニズムを提供することを示唆している。
関連論文リスト
- Generative Control as Optimization: Time Unconditional Flow Matching for Adaptive and Robust Robotic Control [33.03635235189535]
動作合成を反復的最適化に変換する時間非条件フレームワークGeCOについて紹介する。
テスト時間推論は、単純な状態に対して収束開始早期に基づいて計算を割り当てる適応的なプロセスとなり、難しい状態に対してはより長く精製する。
我々は,GeCOを標準シミュレーションベンチマークで検証し,pi0シリーズのVision-Language-Action(VLA)モデルにシームレスなスケーリングを示す。
論文 参考訳（メタデータ） (2026-03-18T15:27:17Z) - Convex and Non-convex Federated Learning with Stale Stochastic Gradients: Diminishing Step Size is All You Need [6.783562149597588]
ローカルエージェントは、自身のデータと計算を利用して、エージェントのローカルコスト関数からなる目的を最小化するために、中央サーバを支援する。
各エージェントは、その局所的な目的の伝達バイアスと遅延推定を許される。
論文 参考訳（メタデータ） (2026-03-03T06:09:19Z) - Preconditioned Score and Flow Matching [15.378063594292955]
共分散 $_t$ of $p_t$ が最適化バイアスを支配していることを示す。
我々は、$p_t$の幾何学を再構成する可逆的でラベル条件付きエンプレコンディショニングマップを提案する。
プレコンディショニングは最適下高原を避けることによって、より優れたトレーニングモデルが得られることを示す。
論文 参考訳（メタデータ） (2026-03-02T19:09:15Z) - Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。
SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。
複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
論文 参考訳（メタデータ） (2026-02-01T12:56:10Z) - Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。
本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。
アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
論文 参考訳（メタデータ） (2025-10-01T12:29:32Z) - Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-04-17T08:32:25Z) - Efficient Distributed Optimization under Heavy-Tailed Noise [32.96984712007111]
TailOPTは、潜在的に勾配のばらつきと局所的な更新を伴うヘビーテールノイズに対処するように設計されている。
Bi2Clip$は、インナーとアウターの両方でコーディネートワイドクリッピングを行い、アダプティブライクなパフォーマンスを実現する。
この$Bi2Clip$は、いくつかの言語タスクやモデルにおいて優れたパフォーマンスを示し、最先端のメソッドよりも優れています。
論文 参考訳（メタデータ） (2025-02-06T15:47:18Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳（メタデータ） (2023-08-31T17:57:50Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳（メタデータ） (2021-07-02T16:21:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。