論文の概要: Geometry-Aware Multi-Objective Optimization: Norm-Constrained Oracles with Entropic Weight Updates

• arxiv url: http://arxiv.org/abs/2610.13773v1
• Date: Fri, 09 Oct 2026 15:55:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.661318
• Title: Geometry-Aware Multi-Objective Optimization: Norm-Constrained Oracles with Entropic Weight Updates
• Title（参考訳）: Geometry-Aware Multi-Objective Optimization: エントロピックウェイトアップデートを備えたノルム制約のOracle
• Abstract要約: 多重勾配降下は典型的にはユークリッド幾何学で定式化されるが、行列対応のオラクルは他のノルムによって誘導される方向を使用する。 基準制約付き線形最小化とタスク重みのエントロピー更新を組み合わせた単一ループ多目的法を解析する。 実験では、この手法を既存のマルチタスクと比較し、ジオメトリ、重み付け、運動量選択を検討した。
• 参考スコア（独自算出の注目度）: 38.97446792838266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multiple-gradient descent is typically formulated in Euclidean geometry, whereas matrix-aware optimizers use directions induced by other norms. We analyze a single-loop multi-objective method combining a norm-constrained linear minimization oracle with entropic updates of task weights. For any finite-dimensional norm pair, we establish an $O(T^{-1/2})$ ergodic stationarity rate in the deterministic setting, deriving the required trajectory gradient bound from smoothness and lower-boundedness in the unregularized case. With stochastic gradients and a bounded-gradient assumption, one persistent blended-gradient momentum buffer yields an $O(T^{-1/4})$ rate whose leading term has no explicit dependence on the number of tasks. We also establish static regret for the inner weighting objective on arbitrary bounded gradient sequences and, with entropy regularization and a weight floor, iteration-wise inner-gap control after burn-in while retaining ergodic stationarity, conditional on a trajectory gradient bound. The optimal blended gradient can be nonunique in spectral and sign geometries, motivating a selection-independent inner gap. Our analysis extends the spectral construction studied by concurrent MOON to general norms. Experiments compare the method with existing multi-task optimizers and examine its oracle, weighting, and momentum choices.
• Abstract（参考訳）: 多重勾配降下は典型的にはユークリッド幾何学で定式化されるが、行列対応最適化器は他のノルムによって誘導される方向を使用する。 基準制約付き線形最小化オラクルとタスク重みのエントロピー更新を組み合わせた単一ループ多目的法を解析する。 任意の有限次元ノルム対に対して、決定論的条件で$O(T^{-1/2})$ ergodic stationarity rateを確立し、不規則化の場合の滑らかさと下界性から所望の軌道勾配を導出する。 確率勾配と有界階調の仮定により、1つの持続的ブレンド段階運動量バッファは、タスク数に明示的に依存しない先頭項の$O(T^{-1/4})$レートを得る。 また,任意の境界勾配列上での内重み付け目標に対する静的な後悔と,エントロピー正則化と重み床により,軌道勾配境界上でのエルゴディックな定常性を維持しつつ,バーンイン後の繰り返し方向の内ギャップ制御を行う。 最適混合勾配は、スペクトルおよび符号幾何学において非特異であり、選択非依存的な内部ギャップを動機付ける。 我々の分析は、同時MOONによるスペクトル構造を一般的なノルムに拡張する。 実験では、この手法を既存のマルチタスクオプティマイザと比較し、そのオラクル、重み付け、運動量選択を検討した。

関連論文リスト

• Optimal Momentum Methods for Stochastic Multilevel Compositional Optimization [59.75358446504504]
  本稿では,複数のスムーズな非パラメータからなるネスト構成を目的とするマルチレベル最適化について検討する。 我々は、運動量勾配推定器を構築するために、ミニバッチを持つ運動量ベース推定器を用いる。 また,関数値のクリッピングに一階近似を組み込んだバッチフリー手法を開発した。
  論文  参考訳（メタデータ） (2026-10-01T12:32:40Z)
• Quantized Stochastic Primal-Dual Methods for Distributed Optimization under Relaxed Global Geometry [2.15242029196761]
  ランダムな(偏りのない)量子化によってモデル化された勾配と有限ビット通信を用いた分散最適化について検討する。 制限されたセカント不等式 (RSI) の下では、勾配ノイズ、量子化歪み、ネットワーク接続性によって決定される明示的な近傍への線形の縮約が得られる。 PolyakLojasiewicz (PL) の不等式では、同じ量子化環境で線形-近傍収束が得られる。
  論文  参考訳（メタデータ） (2026-06-09T18:18:41Z)
• Muon Dynamics as a Spectral Wasserstein Flow [21.689846521201588]
  正半定値行列に関するワッサーシュタインノルムの族を導入する。 静的ベナモ・ブレニエ式と動的ベナモ・ブレニエ式との同値性を証明する。 流れモデルに付随する厳密な勾配を同定する。
  論文  参考訳（メタデータ） (2026-04-06T17:41:12Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Euclidean Distance Matrix Completion via Asymmetric Projected Gradient Descent [25.846262685970164]
  本稿では,Burer-Monteiro因子化に基づく勾配型アルゴリズムの提案と解析を行う。 部分ユークリッド距離測定から点集合構成を再構成する。
  論文  参考訳（メタデータ） (2025-04-28T07:13:23Z)
• Mirror Descent Under Generalized Smoothness [23.5387392871236]
  一般ノルムと双対という観点からヘッセンのノルムを測定する新しい$ell*$-smoothnessの概念を導入する。 我々は、古典的な滑らかさの下でのレートに一致するミラー・ディフレッシュ型アルゴリズムの収束性を確立する。
  論文  参考訳（メタデータ） (2025-02-02T11:23:10Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。