論文の概要: Gradient Equilibrium in Online Learning: Theory and Applications

• arxiv url: http://arxiv.org/abs/2501.08330v3
• Date: Tue, 18 Feb 2025 16:39:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 15:46:50.351714
• Title: Gradient Equilibrium in Online Learning: Theory and Applications
• Title（参考訳）: オンライン学習におけるグラディエント平衡:理論と応用
• Authors: Anastasios N. Angelopoulos, Michael I. Jordan, Ryan J. Tibshirani,
• Abstract要約: 勾配平衡は標準オンライン学習法によって達成される。 勾配平衡は、オンライン予測問題において解釈可能かつ有意義な性質に変換される。 勾配平衡フレームワークは,ブラックボックス予測の偏りを緩和する手法の開発に利用できることを示す。
• 参考スコア（独自算出の注目度）: 56.02856551198923
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a new perspective on online learning that we refer to as gradient equilibrium: a sequence of iterates achieves gradient equilibrium if the average of gradients of losses along the sequence converges to zero. In general, this condition is not implied by, nor implies, sublinear regret. It turns out that gradient equilibrium is achievable by standard online learning methods such as gradient descent and mirror descent with constant step sizes (rather than decaying step sizes, as is usually required for no regret). Further, as we show through examples, gradient equilibrium translates into an interpretable and meaningful property in online prediction problems spanning regression, classification, quantile estimation, and others. Notably, we show that the gradient equilibrium framework can be used to develop a debiasing scheme for black-box predictions under arbitrary distribution shift, based on simple post hoc online descent updates. We also show that post hoc gradient updates can be used to calibrate predicted quantiles under distribution shift, and that the framework leads to unbiased Elo scores for pairwise preference prediction.
• Abstract（参考訳）: 繰り返しの列が、その列に沿った損失の勾配の平均が0に収束すると、勾配均衡を達成する。 一般に、この条件は、サブリニア後悔を暗示したり、暗示したりしない。 勾配平衡は、一定のステップサイズを持つ勾配降下やミラー降下のような標準的なオンライン学習手法によって達成可能であることが判明した(通常、後悔しないために必要となるような、崩壊するステップサイズではなく)。 さらに、例を通して示すように、勾配平衡は回帰、分類、量子的推定などを含むオンライン予測問題において、解釈可能かつ有意義な性質に変換される。 特に、簡単なポストホックオンライン降下更新に基づいて、任意の分布シフトの下でのブラックボックス予測のデバイアス化手法の開発に勾配平衡フレームワークが利用できることを示す。 また,ポストホック勾配の更新は分布シフト下での予測量子化のキャリブレーションに利用でき,このフレームワークがペアの選好予測に不偏のエロスコアにつながることも示している。

関連論文リスト

• Comparing regularisation paths of (conjugate) gradient estimators in ridge regression [0.0]
  線形回帰におけるペナル化リッジ基準を最小化するための反復アルゴリズムとして,勾配勾配,勾配流,共役勾配を考察する。 特に、オラクル共役勾配は勾配流の最適性を共有し、尾根回帰は定数係数までオラクルする。
  論文  参考訳（メタデータ） (2025-03-07T16:14:06Z)
• Parallel Momentum Methods Under Biased Gradient Estimations [11.074080383657453]
  並列勾配法は、複数のノードに分散したデータを含む大規模機械学習問題の解決において注目されている。 しかし、最も理論的な研究の焦点となっている非バイアス境界の取得は、多くの機械学習応用において困難である。 本稿では,メタラーニングにおける推定値の偏りや,勾配の圧縮や切り抜きといった特殊勾配の影響について検討する。
  論文  参考訳（メタデータ） (2024-02-29T18:03:03Z)
• Estimator Meets Equilibrium Perspective: A Rectified Straight Through Estimator for Binary Neural Networks Training [35.090598013305275]
  ニューラルネットワークのバイナリ化は、ニューラルネットワーク圧縮において支配的なパラダイムである。 本稿では,推定誤差と勾配安定性のバランスをとるために,ReSTE(Rectified Straight Through Estimator)を提案する。 ReSTEは優れたパフォーマンスを持ち、補助モジュールや損失を伴わずに最先端のメソッドを超える。
  論文  参考訳（メタデータ） (2023-08-13T05:38:47Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Why is parameter averaging beneficial in SGD? An objective smoothing perspective [13.863368438870562]
  勾配降下(SGD)とその暗黙バイアスは、しばしばミニマの鋭さによって特徴づけられる。 Izmailov et alで実証的に観察された一般用平均SGDアルゴリズムについて検討した。 本研究では,SGDの平均値が局所的な局所最小値を回避するスムーズな目的を効率的に最適化できることを証明した。
  論文  参考訳（メタデータ） (2023-02-18T16:29:06Z)
• The Equalization Losses: Gradient-Driven Training for Long-tailed Object Recognition [84.51875325962061]
  本稿では,長距離問題に対処するための勾配駆動型学習機構を提案する。 我々は、勾配駆動損失関数の新たなファミリー、すなわち等化損失を導入する。 我々の手法は一貫してベースラインモデルより優れています。
  論文  参考訳（メタデータ） (2022-10-11T16:00:36Z)
• Coupled Gradient Estimators for Discrete Latent Variables [41.428359609999326]
  非バイアス勾配推定器の高分散のため、離散潜伏変数を持つ訓練モデルは困難である。 重要サンプリングと統計的結合に基づく新しい推定器の導出を提案する。 提案した分類的勾配推定器は,最先端の性能を示すことを示す。
  論文  参考訳（メタデータ） (2021-06-15T11:28:44Z)
• Implicit Gradient Regularization [18.391141066502644]
  勾配降下は、過度に適合せず、明示的な正規化もなく、ディープニューラルネットワークを最適化するのに驚くほど適しています。 我々はImplicit Gradient Regularization (IGR)と呼び、後方誤差解析を用いて正規化のサイズを計算する。
  論文  参考訳（メタデータ） (2020-09-23T14:17:53Z)
• Implicit Bias in Deep Linear Classification: Initialization Scale vs Training Accuracy [71.25689267025244]
  移行がスケールとトレーニング損失の最小化の関係によってどのように制御されるかを示す。 以上の結果から,勾配降下の限界挙動は,ばかげた訓練精度でのみ引き起こされることが示唆された。
  論文  参考訳（メタデータ） (2020-07-13T23:49:53Z)
• A Study of Gradient Variance in Deep Learning [56.437755740715396]
  階層化サンプリングによる平均ミニバッチ勾配のばらつきを最小化する手法であるグラディエントクラスタリングを導入する。 我々は、一般的なディープラーニングベンチマークの勾配分散を測定し、一般的な仮定に反して、トレーニング中に勾配分散が増加することを観察する。
  論文  参考訳（メタデータ） (2020-07-09T03:23:10Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。