論文の概要: On Learning-Curve Monotonicity for Maximum Likelihood Estimators

• arxiv url: http://arxiv.org/abs/2512.10220v1
• Date: Thu, 11 Dec 2025 02:12:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-12 16:15:42.162383
• Title: On Learning-Curve Monotonicity for Maximum Likelihood Estimators
• Title（参考訳）: 最大公準推定器の学習曲線単調性について
• Authors: Mark Sellke, Steven Yin,
• Abstract要約: 最初の非自明な単調性は最大極大推定器を保証する。 ログ損失を伴う逐次予測では、前方KL分岐の単調性を示す。 逆 KL の発散に対して、フォークロアトリックは、非常に一般的な指数族に対して単調性をもたらす。
• 参考スコア（独自算出の注目度）: 15.457993447565789
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The property of learning-curve monotonicity, highlighted in a recent series of work by Loog, Mey and Viering, describes algorithms which only improve in average performance given more data, for any underlying data distribution within a given family. We establish the first nontrivial monotonicity guarantees for the maximum likelihood estimator in a variety of well-specified parametric settings. For sequential prediction with log loss, we show monotonicity (in fact complete monotonicity) of the forward KL divergence for Gaussian vectors with unknown covariance and either known or unknown mean, as well as for Gamma variables with unknown scale parameter. The Gaussian setting was explicitly highlighted as open in the aforementioned works, even in dimension 1. Finally we observe that for reverse KL divergence, a folklore trick yields monotonicity for very general exponential families. All results in this paper were derived by variants of GPT-5.2 Pro. Humans did not provide any proof strategies or intermediate arguments, but only prompted the model to continue developing additional results, and verified and transcribed its proofs.
• Abstract（参考訳）: 学習曲線の単調性の性質は、Loog、Mey、Vieringの最近の一連の研究で強調され、与えられた家族内の基盤となるデータ分散に対して、より多くのデータに対して平均的なパフォーマンスだけを改善するアルゴリズムを記述している。 種々のパラメータ設定において、最大極大推定器に対する最初の非自明な単調性保証を確立する。 ログ損失を伴う逐次予測に対しては、未知の共分散を持つガウスベクトルと未知のスケールパラメータを持つガンマ変数に対して、前方KL分散の単調性(実際は完全単調性)を示す。 ガウス的設定は、上記の作品において、次元 1 であっても、明示的にオープンであると強調された。 最後に、逆KL発散に対して、民俗的トリックが非常に一般的な指数族に対して単調性をもたらすことを観察する。 本論文のすべての結果はGPT-5.2 Proの変種によって導出された。 人間は証明戦略や中間的議論は提供しなかったが、モデルにさらなる結果の開発を続行させ、その証明を検証し、書き起こしただけだった。

関連論文リスト

• A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
  ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。 本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。 また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T18:18:37Z)
• Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
  本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。 我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。 全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes [52.92110730286403]
  限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。 我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。 また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
  論文  参考訳（メタデータ） (2022-10-14T08:09:33Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Convergence Rates of Stochastic Gradient Descent under Infinite Noise Variance [14.06947898164194]
  ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。 SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。 その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
  論文  参考訳（メタデータ） (2021-02-20T13:45:11Z)
• Homeomorphic-Invariance of EM: Non-Asymptotic Convergence in KL Divergence for Exponential Families via Mirror Descent [18.045545816267385]
  指数関数的な家族分布の一般的な設定では、EMをミラー降下アルゴリズムと見なすとクルバック・リーブラー分岐の収束率につながることを示す。 以前の研究とは対照的に、分析はパラメトリゼーションの選択に関係しており、最小限の仮定で成り立つ。
  論文  参考訳（メタデータ） (2020-11-02T18:09:05Z)
• Differentially Private Bayesian Inference for Generalized Linear Models [21.942149563564968]
  ロジスティック回帰のような一般化線形モデル(GLM)は、データアナリストのレパートリーにおいて最も広く使われている武器の一つである。 本稿では,GLMの雑音を考慮したDPベイズ推定手法を提案する。 本モデルから得られた後部は,強いプライバシー保証に固執する一方で,非私的後部に近いものであることを実験的に実証した。
  論文  参考訳（メタデータ） (2020-11-01T10:38:22Z)
• Doubly Robust Semiparametric Difference-in-Differences Estimators with High-Dimensional Data [15.27393561231633]
  不均一な治療効果を推定するための2段半パラメトリック差分差分推定器を提案する。 第1段階では、確率スコアを推定するために、一般的な機械学習手法が使用できる。 第2段階ではパラメトリックパラメータと未知関数の両方の収束率を導出する。
  論文  参考訳（メタデータ） (2020-09-07T15:14:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。