論文の概要: Sparse network asymptotics for logistic regression
- arxiv url: http://arxiv.org/abs/2010.04703v1
- Date: Fri, 9 Oct 2020 17:46:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 06:27:10.945591
- Title: Sparse network asymptotics for logistic regression
- Title（参考訳）: ロジスティック回帰のためのスパースネットワーク漸近
- Authors: Bryan S. Graham
- Abstract要約: ロジスティック回帰の漸近正規性は三角配列に対する Martingale Central limit theorem (CLT) を用いて示される。
スパースネットワークは、サンプリング変動のさらなる源を含むばらつきを示唆し、(ii) はダイアディック依存の度合いで有効であるので、より良い推論をもたらす可能性がある。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Consider a bipartite network where $N$ consumers choose to buy or not to buy
$M$ different products. This paper considers the properties of the logistic
regression of the $N\times M$ array of i-buys-j purchase decisions,
$\left[Y_{ij}\right]_{1\leq i\leq N,1\leq j\leq M}$, onto known functions of
consumer and product attributes under asymptotic sequences where (i) both $N$
and $M$ grow large and (ii) the average number of products purchased per
consumer is finite in the limit. This latter assumption implies that the
network of purchases is sparse: only a (very) small fraction of all possible
purchases are actually made (concordant with many real-world settings). Under
sparse network asymptotics, the first and last terms in an extended
Hoeffding-type variance decomposition of the score of the logit composite
log-likelihood are of equal order. In contrast, under dense network
asymptotics, the last term is asymptotically negligible. Asymptotic normality
of the logistic regression coefficients is shown using a martingale central
limit theorem (CLT) for triangular arrays. Unlike in the dense case, the
normality result derived here also holds under degeneracy of the network
graphon. Relatedly, when there happens to be no dyadic dependence in the
dataset in hand, it specializes to recently derived results on the behavior of
logistic regression with rare events and iid data. Sparse network asymptotics
may lead to better inference in practice since they suggest variance estimators
which (i) incorporate additional sources of sampling variation and (ii) are
valid under varying degrees of dyadic dependence.
- Abstract（参考訳）: N$の消費者がM$の異なる製品を買うかどうかを選択する二部構成のネットワークを考えてみよう。
本稿では,i-buys-j 購入決定の配列である $\left[Y_{ij}\right]_{1\leq i\leq N,1\leq j\leq M}$ の,漸近的順序の下での消費者および製品属性の既知の関数に対するロジスティック回帰特性について考察する。
(i)$N$、$M$ともに大きく成長し、
(ii)消費者1人当たりの購入品数の平均は有限である。
この後者の仮定は、購入のネットワークが希薄であることを意味している: 購入可能なすべての購入のごく一部のみが実際に作成されている(実世界の多くの設定と一致している)。
スパースネットワーク漸近法の下では、ロジット合成対数様のスコアの拡張ホーフディング型分散分解における第一項と最後の項は等順序である。
対照的に、高密度ネットワーク漸近では、最後の項は漸近的に無視される。
ロジスティック回帰係数の漸近正規性は、三角形の配列に対する Martingale Central limit theorem (CLT) を用いて示される。
密接な場合とは異なり、ここで導かれる正規性の結果はネットワークグラフの縮退にも従う。
相対的に、データセットにダイアディックな依存が存在しない場合、希少なイベントやiidデータによるロジスティック回帰の挙動に関する最近の結果に特化している。
スパースネットワーク漸近性は、分散推定器を提案するため、実際はより良い推論をもたらす可能性がある
(i)追加のサンプリング変動源を組み込んだもの
(ii)dyadicの依存度は様々である。
関連論文リスト
- Nonasymptotic Analysis of Stochastic Gradient Descent with the Richardson-Romberg Extrapolation [22.652143194356864]
ステップサイズが一定となる勾配勾配(SGD)アルゴリズムを用いて, 強い凸と滑らかな問題を解く問題に対処する。
得られた推定子の平均二乗誤差を$n$の反復数に対して拡張する。
我々は、この鎖が定義された重み付きワッサーシュタイン半計量に関して幾何学的にエルゴード的であることを確証する。
論文 参考訳（メタデータ） (2024-10-07T15:02:48Z) - The Curse of Memory in Stochastic Approximation: Extended Version [1.534667887016089]
適応制御の初期から、制御システムコミュニティ内で近似の理論と応用が成長してきた。
近年の結果, (十分小さい) ステップサイズ$alpha>0$のSAの顕著な性能が確認されている。
論文 参考訳（メタデータ） (2023-09-06T12:22:32Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳（メタデータ） (2023-06-15T16:30:08Z) - Degeneracy is OK: Logarithmic Regret for Network Revenue Management with
Indiscrete Distributions [14.959412298776199]
我々は、従来のネットワーク収益管理(NRM)問題について、意思決定を受理/退避し、IIDの到着を$T$で検討する。
本モデルでは,O(log2 T)$ regret を実現するオンラインアルゴリズムを開発した。
2階成長の仮定を追加して、$O(log T)$ regretを達成する2番目の結果を得る。
論文 参考訳（メタデータ） (2022-10-14T17:52:19Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - An efficient projection neural network for $\ell_1$-regularized logistic
regression [10.517079029721257]
本稿では, $ell_$-regularized logistics regression のための単純な投影ニューラルネットワークを提案する。
提案したニューラルネットワークは、余分な補助変数や滑らかな近似を必要としない。
また、リアプノフ理論を用いて、提案したニューラルネットワークの収束について検討し、任意の初期値を持つ問題の解に収束することを示す。
論文 参考訳（メタデータ） (2021-05-12T06:13:44Z) - Convergence Rates of Stochastic Gradient Descent under Infinite Noise
Variance [14.06947898164194]
ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。
SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。
その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
論文 参考訳（メタデータ） (2021-02-20T13:45:11Z) - Stochastic Approximation for Online Tensorial Independent Component
Analysis [98.34292831923335]
独立成分分析(ICA)は統計機械学習や信号処理において一般的な次元削減ツールである。
本稿では,各独立成分を推定する副産物オンライン時系列アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-28T18:52:37Z) - ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。
我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。
有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
論文 参考訳（メタデータ） (2020-08-28T14:46:56Z) - A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian
Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。
この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
論文 参考訳（メタデータ） (2020-06-09T02:05:40Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳（メタデータ） (2020-04-09T17:54:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。