論文の概要: Eigen-Stratified Models
- arxiv url: http://arxiv.org/abs/2001.10389v1
- Date: Mon, 27 Jan 2020 16:26:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-06 07:57:15.837157
- Title: Eigen-Stratified Models
- Title(参考訳): 固有成層モデル
- Authors: Jonathan Tuck, Stephen Boyd
- Abstract要約: 階層化されたモデルは、選択されたカテゴリ機能に任意の方法で依存し、$K$の値を取り、他の$n$の機能に線形に依存する。
グラフ上の特徴値に対するラプラシア正規化は、成層モデルの性能を大幅に向上させることができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stratified models depend in an arbitrary way on a selected categorical
feature that takes $K$ values, and depend linearly on the other $n$ features.
Laplacian regularization with respect to a graph on the feature values can
greatly improve the performance of a stratified model, especially in the
low-data regime. A significant issue with Laplacian-regularized stratified
models is that the model is $K$ times the size of the base model, which can be
quite large.
We address this issue by formulating eigen-stratifed models, which are
stratified models with an additional constraint that the model parameters are
linear combinations of some modest number $m$ of bottom eigenvectors of the
graph Laplacian, i.e., those associated with the $m$ smallest eigenvalues. With
eigen-stratified models, we only need to store the $m$ bottom eigenvectors and
the corresponding coefficients as the stratified model parameters. This leads
to a reduction, sometimes large, of model size when $m \leq n$ and $m \ll K$.
In some cases, the additional regularization implicit in eigen-stratified
models can improve out-of-sample performance over standard Laplacian
regularized stratified models.
- Abstract(参考訳): 成層モデルは、k$の値を取る選択されたカテゴリの特徴に任意の方法で依存し、他の$n$の特徴に線形に依存する。
特徴値のグラフに対するラプラシアン正則化は、特に低データ環境において、階層化されたモデルの性能を大幅に改善することができる。
laplacian-regularized stratified modelの大きな問題は、モデルのサイズがベースモデルのサイズの1k$倍であることです。
モデルパラメータはグラフラプラシアンのボトム固有ベクトルのわずか数$m$の線形結合である、すなわち、$m$最小固有値に関連するような、追加の制約付き成層モデルである固有成層モデルを定式化することでこの問題に対処する。
固有成層モデルでは、$m$ボトム固有ベクトルと対応する係数を成層モデルパラメータとして格納するだけでよい。
これにより、$m \leq n$ と $m \ll K$ のモデルサイズが減少することがある。
場合によっては、固有成層モデルに暗黙的に追加される正規化により、標準ラプラシアン正規成層モデルよりもサンプル外の性能が向上する。
関連論文リスト
- Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳(メタデータ) (2024-03-08T18:50:19Z) - $p$-Generalized Probit Regression and Scalable Maximum Likelihood
Estimation via Sketching and Coresets [74.37849422071206]
本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。
p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
論文 参考訳(メタデータ) (2022-03-25T10:54:41Z) - Universal and data-adaptive algorithms for model selection in linear
contextual bandits [52.47796554359261]
モデル選択の最も単純な非自明な例を考える: 単純な多重武装バンディット問題と線形文脈バンディット問題とを区別する。
データ適応的な方法で探索する新しいアルゴリズムを導入し、$mathcalO(dalpha T1- alpha)$という形式の保証を提供する。
我々のアプローチは、いくつかの仮定の下で、ネストされた線形文脈包帯のモデル選択に拡張する。
論文 参考訳(メタデータ) (2021-11-08T18:05:35Z) - Spike-and-Slab Generalized Additive Models and Scalable Algorithms for
High-Dimensional Data [0.0]
本稿では,高次元データに対応するため,階層型一般化加法モデル(GAM)を提案する。
曲線の適切な縮退と滑らか化関数線型空間と非線形空間の分離に対する平滑化ペナルティを考察する。
2つの決定論的アルゴリズム、EM-Coordinate Descent と EM-Iterative Weighted Least Squares は異なるユーティリティ向けに開発された。
論文 参考訳(メタデータ) (2021-10-27T14:11:13Z) - On Model Selection Consistency of Lasso for High-Dimensional Ising
Models on Tree-like Graphs [13.14903445595385]
近傍型最小絶対収縮・選択演算子(Lasso)を用いた高次元イジングモデル選択の問題点を考察する。
常磁性相の任意の木様グラフに対して、サンプルサイズ$n=Omega(d3logp)$で一貫したモデル選択が達成できることは厳密に証明されている。
ラッソの人気と効率性を考えると、厳密な解析はイジングモデル選択における実践的利用の理論的裏付けとなる。
論文 参考訳(メタデータ) (2021-10-16T07:23:02Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳(メタデータ) (2020-10-05T20:03:13Z) - LowFER: Low-rank Bilinear Pooling for Link Prediction [4.110108749051657]
本稿では,多モーダル学習においてよく用いられる因子化双線形プールモデルを提案する。
我々のモデルは、他のモデルを一般化することが示されている分解タッカーベースのタッカーモデルを自然に一般化する。
実世界のデータセット、パー・オブ・ザ・アーティファクトのパフォーマンスについて評価する。
論文 参考訳(メタデータ) (2020-08-25T07:33:52Z) - Dimension Independent Generalization Error by Stochastic Gradient
Descent [12.474236773219067]
本稿では, 局所凸損失関数に対する降下(SGD)解の一般化誤差に関する理論を提案する。
一般化誤差は$p$次元に依存したり、低効用$p$対数因子に依存しないことを示す。
論文 参考訳(メタデータ) (2020-03-25T03:08:41Z) - Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。
アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。
ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
論文 参考訳(メタデータ) (2020-02-20T10:50:58Z) - Particle-Gibbs Sampling For Bayesian Feature Allocation Models [77.57285768500225]
最も広く使われているMCMC戦略は、特徴割り当て行列のギブス更新に頼っている。
単一移動で特徴割り当て行列の全行を更新できるギブスサンプリング器を開発した。
このサンプルは、計算複雑性が特徴数で指数関数的にスケールするにつれて、多数の特徴を持つモデルにとって実用的ではない。
我々は,行ワイズギブズ更新と同じ分布を目標としたパーティクルギブズサンプルの開発を行うが,特徴数でのみ線形に増大する計算複雑性を有する。
論文 参考訳(メタデータ) (2020-01-25T22:11:51Z) - Mixture model for designs in high dimensional regression and the LASSO [0.0]
LASSOは、回帰モデル bean y & = & Xbeta + z, eean における変数選択の技法である。
本稿では,カラムの潜在的クラスタ化の性質を自然な方法で捉えることができる設計行列の混合モデルを提案する。
論文 参考訳(メタデータ) (2012-10-17T15:10:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。