論文の概要: A Geometry-Aware Efficient Algorithm for Compositional Entropic Risk Minimization

• arxiv url: http://arxiv.org/abs/2602.02877v1
• Date: Mon, 02 Feb 2026 22:33:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.116267
• Title: A Geometry-Aware Efficient Algorithm for Compositional Entropic Risk Minimization
• Title（参考訳）: 構成エントロピーリスク最小化のための幾何学的アルゴリズム
• Authors: Xiyuan Wei, Linli Zhou, Bokun Wang, Chih-Jen Lin, Tianbao Yang,
• Abstract要約: 我々は、$textbfcompositional entropic risk minimizationと呼ばれる問題の族を研究する。 各データの損失はLog-Exponential(Log-E-Exp)関数として定式化される。 エントロピーリスク最小化の双対な定式化のために,$textbfSCENT$と呼ばれる幾何認識アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 42.094833715284416
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper studies optimization for a family of problems termed $\textbf{compositional entropic risk minimization}$, in which each data's loss is formulated as a Log-Expectation-Exponential (Log-E-Exp) function. The Log-E-Exp formulation serves as an abstraction of the Log-Sum-Exponential (LogSumExp) function when the explicit summation inside the logarithm is taken over a gigantic number of items and is therefore expensive to evaluate. While entropic risk objectives of this form arise in many machine learning problems, existing optimization algorithms suffer from several fundamental limitations including non-convergence, numerical instability, and slow convergence rates. To address these limitations, we propose a geometry-aware stochastic algorithm, termed $\textbf{SCENT}$, for the dual formulation of entropic risk minimization cast as a min--min optimization problem. The key to our design is a $\textbf{stochastic proximal mirror descent (SPMD)}$ update for the dual variable, equipped with a Bregman divergence induced by a negative exponential function that faithfully captures the geometry of the objective. Our main contributions are threefold: (i) we establish an $O(1/\sqrt{T})$ convergence rate of the proposed SCENT algorithm for convex problems; (ii) we theoretically characterize the advantages of SPMD over standard SGD update for optimizing the dual variable; and (iii) we demonstrate the empirical effectiveness of SCENT on extreme classification, partial AUC maximization, contrastive learning and distributionally robust optimization, where it consistently outperforms existing baselines.
• Abstract（参考訳）: 本稿では、各データの損失をLog-Expectation-Exponential(Log-E-Exp)関数として定式化する、$\textbf{compositional entropic risk minimization}$と呼ばれる一連の問題の最適化について検討する。 Log-E-Expの定式化は、Log-Sum-Exponential (LogSumExp) 関数の抽象化として機能し、対数内部の明示的な和が膨大な数のアイテムに渡され、評価する費用がかかる。 この形態のエントロピー的リスク目標は多くの機械学習問題に現れるが、既存の最適化アルゴリズムは、非収束性、数値不安定性、緩やかな収束率など、いくつかの基本的な制限に悩まされている。 これらの制約に対処するために、エントロピーリスク最小化キャストの双対定式化を min-min 最適化問題として、$\textbf{SCENT}$ という幾何学的確率論的アルゴリズムを提案する。 我々の設計の鍵は、二重変数に対する$\textbf{stochastic proximal mirror descent (SPMD)$ updateであり、目的の幾何学を忠実に捉える負の指数関数によって誘導されるブレグマンの発散を備える。 私たちの主な貢献は3倍です。 (i)凸問題に対する提案したSCENTアルゴリズムの$O(1/\sqrt{T})$収束率を確立する。 (II) 2変数を最適化するための標準SGD更新に対するSPMDの利点を理論的に特徴づける。 3) SCENTの極端分類,部分的AUCの最大化,コントラスト学習,分布的ロバスト最適化に対する実証的効果を実証し,既存のベースラインを一貫して上回ることを示した。

関連論文リスト

• Stochastic Momentum Methods for Non-smooth Non-Convex Finite-Sum Coupled Compositional Optimization [68.22688819802622]
  我々は、(ほぼ)$レベルのKKTソリューションを見つけるために、$O(/epsilon)$の最先端の複雑さを新たに提案する。 O(/epsilon)$ の(ほぼ) $ レベルの KKT ソリューションを見つけるための技術的複雑さを適用することで、(ほぼ) $ レベルの KKT ソリューションを見つけるための $O(/epsilon)$ の最先端の複雑さを新たに達成する。
  論文  参考訳（メタデータ） (2025-06-03T06:31:59Z)
• Enhancing Distributional Robustness in Principal Component Analysis by Wasserstein Distances [7.695578200868269]
  主成分分析(PCA)の分布ロバスト最適化(DRO)モデルについて,基礎となる確率分布の不確実性を考慮する。 結果の定式化は非滑らかな制約付き min-max 最適化問題につながり、曖昧性集合はタイプ2$ワッサーシュタイン距離で分布の不確かさを捉える。 この明示的な特徴付けは、元の DRO モデルを、複雑な非滑らかな項を持つスティーフェル多様体上の最小化問題に同値に再構成する。
  論文  参考訳（メタデータ） (2025-03-04T11:00:08Z)
• Alternating Minimization Schemes for Computing Rate-Distortion-Perception Functions with $f$-Divergence Perception Constraints [9.788112471288057]
  離散メモリレスソースに対するRDPF(Ralse-Distortion-Perception Function)の計算について検討した。 凸プログラミング問題に対する最適パラメトリック解を特徴付ける。 必要かつ十分な条件を導出することにより、両スキームがグローバルな最適解を保証できることが示される。
  論文  参考訳（メタデータ） (2024-08-27T12:50:12Z)
• Sample-efficient Learning of Infinite-horizon Average-reward MDPs with General Function Approximation [53.17668583030862]
  一般関数近似の文脈において,無限水平平均逆マルコフ決定過程(AMDP)について検討する。 最適化最適化(LOOP)と呼ばれる新しいアルゴリズムフレームワークを提案する。 我々は LOOP がサブ線形 $tildemathcalO(mathrmpoly(d, mathrmsp(V*)) sqrtTbeta )$ regret を達成することを示す。
  論文  参考訳（メタデータ） (2024-04-19T06:24:22Z)
• Near-Optimal Non-Convex Stochastic Optimization under Generalized Smoothness [21.865728815935665]
  2つの最近の研究は、$O(epsilon-3)$サンプル複雑性を確立し、$O(epsilon)$-定常点を得る。 しかし、どちらも$mathrmploy(epsilon-1)$という大きなバッチサイズを必要とする。 本研究では,STORMアルゴリズムの単純な変種を再検討することにより,従来の2つの問題を同時に解決する。
  論文  参考訳（メタデータ） (2023-02-13T00:22:28Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。