論文の概要: Optimal lower bounds for logistic log-likelihoods

• arxiv url: http://arxiv.org/abs/2410.10309v1
• Date: Mon, 14 Oct 2024 09:09:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 22:24:32.229059
• Title: Optimal lower bounds for logistic log-likelihoods
• Title（参考訳）: 対数的対数類似性に対する最適下界
• Authors: Niccolò Anceschi, Tommaso Rigon, Giacomo Zanella, Daniele Durante,
• Abstract要約: ロジット変換は、おそらく線形設定を超えて最も広く採用されているリンク関数である。 2次よりも鋭い接する下界が、結果として生じるマイノライザーのトラクタビリティを損なうことなく導出できるかどうかはまだ分かっていない。 本稿は、新しい2次下界の設計と研究を通じて、このような挑戦的な問題に対処する。
• 参考スコア（独自算出の注目度）: 1.3124513975412255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The logit transform is arguably the most widely-employed link function beyond linear settings. This transformation routinely appears in regression models for binary data and provides, either explicitly or implicitly, a core building-block within state-of-the-art methodologies for both classification and regression. Its widespread use, combined with the lack of analytical solutions for the optimization of general losses involving the logit transform, still motivates active research in computational statistics. Among the directions explored, a central one has focused on the design of tangent lower bounds for logistic log-likelihoods that can be tractably optimized, while providing a tight approximation of these log-likelihoods. Although progress along these lines has led to the development of effective minorize-maximize (MM) algorithms for point estimation and coordinate ascent variational inference schemes for approximate Bayesian inference under several logit models, the overarching focus in the literature has been on tangent quadratic minorizers. In fact, it is still unclear whether tangent lower bounds sharper than quadratic ones can be derived without undermining the tractability of the resulting minorizer. This article addresses such a challenging question through the design and study of a novel piece-wise quadratic lower bound that uniformly improves any tangent quadratic minorizer, including the sharpest ones, while admitting a direct interpretation in terms of the classical generalized lasso problem. As illustrated in a ridge logistic regression, this unique connection facilitates more effective implementations than those provided by available piece-wise bounds, while improving the convergence speed of quadratic ones.
• Abstract（参考訳）: ロジット変換は、おそらく線形設定を超えて最も広く採用されているリンク関数である。 この変換は、バイナリデータの回帰モデルに常として現れ、明示的にも暗黙的にも、分類と回帰の両方のための最先端の手法の中核となるビルディングブロックを提供する。 ロージット変換を含む一般的な損失の最適化のための解析解の欠如と相まって、計算統計学における活発な研究の動機となっている。 探索された方向のうち、中央のものは、引き付け可能な最適化が可能な対数的対数的対数的対数的対数的対数的下界の設計に焦点を合わせ、これらの対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的対数的 これらの線に沿った進歩は、いくつかのロジットモデルの下で近似ベイズ推定のための点推定と座標の漸進的変分推定スキームのための有効最小化(MM)アルゴリズムの開発に繋がっているが、文献の概略的な焦点は、2次分数分解器である。 実際、2次よりも鋭い接する下界が、結果として生じるマイノライザーのトラクタビリティを損なうことなく引き出せるかどうかはまだ不明である。 本稿では,古典的な一般化ラッソ問題の観点から直接的解釈を認めながら,最も鋭い部分を含む任意の接する二次分数分解器を均一に改善する,新しい2次下界の設計と研究を通じて,このような難解な問題に対処する。 リッジロジスティック回帰(英語版)で示されるように、このユニークな接続は、利用可能なピースワイド境界によって提供されるものよりもより効果的な実装を促進し、二次的結合の収束速度を向上する。

関連論文リスト

• Stagewise Boosting Distributional Regression [0.0]
  本稿では,分布回帰のための段階的ブースティング型アルゴリズムを提案する。 新たな正則化手法である相関フィルタリングを用いて拡張し,さらなる安定性を実現する。 大規模なデータセットを処理するメリットに加えて、近似の性質はより良い結果をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-05-28T15:40:39Z)
• A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints [87.08677547257733]
  ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。 また,スドクと最短経路予測の手法を自己回帰世代として評価した。
  論文  参考訳（メタデータ） (2023-12-06T20:58:07Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization [64.26238893241322]
  単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。 いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。 これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
  論文  参考訳（メタデータ） (2020-03-31T16:54:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。