論文の概要: Exact-Form Regret for Gradient Descent, Mirror Descent and Follow-the-Regularized-Leader
- arxiv url: http://arxiv.org/abs/2609.09466v1
- Date: Tue, 08 Sep 2026 21:32:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.820956
- Title: Exact-Form Regret for Gradient Descent, Mirror Descent and Follow-the-Regularized-Leader
- Title（参考訳）: グラディエントディフレッシュ・ミラーディフレッシュ・フォロー・ザ・レギュラー化リーダ用エクサフォームレグレット
- Abstract要約: 最近の研究は、一階法がよりリッチな行動依存偏差を制御することを示している。
オンライン勾配降下,ミラー降下,フォロー・ザ・レギュラー化リーダ(FTRL)の達成に関する偏差の幾何学的特徴を求める。
- 参考スコア（独自算出の注目度）: 46.31158375592562
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Online gradient descent is usually studied through external regret, where the learner competes with fixed alternatives. Recent work shows that first-order methods control richer action-dependent deviations. We ask for a geometric characterization of the deviations with respect to which online gradient descent, mirror descent, and follow-the-regularized-leader (FTRL) achieve no regret. We identify exactness as the common principle. Exactness means that the relevant displacement field is generated by a scalar potential, or equivalently that the associated one-form is exact in the geometry used by the algorithm. This geometry depends on the algorithm. For gradient descent it is Euclidean geometry, for mirror descent it is the geometry induced by the regularizer, and for FTRL it is the cumulative dual state. Under mild regularity conditions, exactness yields sublinear regret, while nonzero circulation provides the complementary obstruction and leads to linear regret. This gives a unified geometric framework for understanding the deviation classes controlled by these algorithms and reveals that different first-order methods can control genuinely different classes of deviations. These deviation classes have direct consequences for learning, particularly in games. We study the equilibrium notions induced by exact-form deviations and introduce conservative correlated equilibrium, reflecting both the conservative geometry of the underlying displacement fields and the restricted family of deviations available to the players. We characterize its relation to correlated equilibrium, determine when the resulting equilibrium notions coincide and when they separate, and show how these relationships depend on the geometry and the learning algorithm. Overall, this work gives a unified geometric account of what first-order online learning algorithms are no-regret with respect to, beyond fixed comparators.
- Abstract（参考訳）: オンライン勾配降下は、通常、学習者が固定された代替品と競合する外部の後悔を通して研究される。
最近の研究は、一階法がよりリッチな行動依存偏差を制御することを示している。
オンライン勾配降下,ミラー降下,フォロー・ザ・レギュラー化リーダ(FTRL)の達成に関する偏差の幾何学的特徴を求める。
正確さを共通原理とみなす。
厳密性(exactness)とは、関連する変位場がスカラーポテンシャルによって生成されることを意味する。
この幾何学はアルゴリズムに依存する。
勾配降下はユークリッド幾何学、鏡降下は正則化子によって誘導される幾何学、FTRLは累積双対状態である。
穏やかな規則性条件下では、正確さはサブリニア後悔をもたらすが、非ゼロ循環は相補的な障害を与え、線形後悔をもたらす。
これにより、これらのアルゴリズムによって制御される偏差クラスを理解するための統一的な幾何学的枠組みが得られ、異なる一階法が真に異なる偏差のクラスを制御できることを明らかにする。
これらの逸脱クラスは、特にゲームにおいて、学習に直接的な結果をもたらす。
正確な形状の偏差によって引き起こされる平衡概念を考察し、基礎となる変位場の保守的幾何とプレイヤーが利用できる制限された偏差の族の両方を反映して、保守的な相関平衡を導入する。
相関平衡との関係を特徴づけ、結果の平衡概念がいつ一致し、いつ分離するかを決定し、これらの関係が幾何や学習アルゴリズムに依存するかを示す。
全体として、この研究は、固定コンパレータを超えて、一階オンライン学習アルゴリズムが非参照であることを示す統一的な幾何学的説明を提供する。
関連論文リスト
- Symmetry-Structured Neural Completion of Islamic Geometric Patterns from Sparse Control Geometry [0.5115559623386962]
イスラームの幾何学的パターンは、正確な回転対称性と厳密な構成規則によって支配される。
本稿では,これらのルールを形式的幾何学的知識として扱い,ニューラルネットワークに組み込む。
論文 参考訳（メタデータ） (2026-06-30T11:12:12Z) - Nonlinear Geometrizability of State-Dependent Proto-Area in Approximate Holographic Codes [0.0]
近似回復によって生成される状態依存型プロト面積データは、単一の局所的バルク計量と互換性がない。
我々は、正確な有限分解能基準を導出し、双曲円盤の近傍では、通常のプロト面積2ジェットの必要十分条件を導出する。
ハミルトニアスキュード符号は、第一次非幾何と、第一の障害物が二次的にのみ現れるキャリブレーション応答の両方を実現する。
論文 参考訳（メタデータ） (2026-06-21T17:16:10Z) - A Unified Geometric Framework for Weighted Contrastive Learning [3.746889836344765]
重み付けされたInfoNCEの目的を距離幾何学問題と解釈できることを示す。
この視点は、いくつかの教師付きおよび弱教師付き目的に対して最適な埋め込みの正確な特徴を与える。
その結果, 重み付け方式の選択は, 比較学習が幾何学的に実現可能か, 退化可能か, 不整合かを決定することを示した。
論文 参考訳（メタデータ） (2026-05-13T17:48:36Z) - Orthogonalized Policy Optimization:Decoupling Sampling Geometry from Optimization Geometry in RLHF [0.0]
大規模言語モデルアライメントの目的はしばしば、PPO、DPO、IPO、およびそれらの変種といった、異なるアルゴリズムの集合として提示される。
この研究において、この多様性はより単純な基盤構造を曖昧にしていると論じる。
この絡み合いは、単にモデリングの利便性ではなく、体系的な不安定性の源であることを示す。
論文 参考訳（メタデータ） (2026-01-18T13:57:44Z) - Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。
以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。
我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。
この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
論文 参考訳（メタデータ） (2025-06-28T01:46:36Z) - Gradient Equilibrium in Online Learning: Theory and Applications [56.02856551198923]
勾配平衡は標準オンライン学習法によって達成される。
勾配平衡は、オンライン予測問題において解釈可能かつ有意義な性質に変換される。
勾配平衡フレームワークは,ブラックボックス予測の偏りを緩和する手法の開発に利用できることを示す。
論文 参考訳（メタデータ） (2025-01-14T18:59:09Z) - Disentangled Representation Learning with the Gromov-Monge Gap [65.73194652234848]
乱れのないデータから歪んだ表現を学習することは、機械学習における根本的な課題である。
本稿では,2次最適輸送に基づく非交叉表現学習手法を提案する。
提案手法の有効性を4つの標準ベンチマークで示す。
論文 参考訳（メタデータ） (2024-07-10T16:51:32Z) - A U-turn on Double Descent: Rethinking Parameter Counting in Statistical
Learning [68.76846801719095]
二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。
これは二重降下と統計的直観の間の緊張を解消する。
論文 参考訳（メタデータ） (2023-10-29T12:05:39Z) - Non-convex online learning via algorithmic equivalence [30.038975353298117]
アルゴリズム同値法 非勾配降下凸ミラー降下理論を示す。
我々の分析は、新しい単純なアルゴリズム法に基づいて、$frac23$を証明している。
論文 参考訳（メタデータ） (2022-05-30T16:50:34Z) - Orthogonal Jacobian Regularization for Unsupervised Disentanglement in
Image Generation [64.92152574895111]
直交ジャコビアン正規化法(OroJaR)を提案する。
提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
論文 参考訳（メタデータ） (2021-08-17T15:01:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。