論文の概要: Eigen-Stratified Models

• arxiv url: http://arxiv.org/abs/2001.10389v1
• Date: Mon, 27 Jan 2020 16:26:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-06 07:57:15.837157
• Title: Eigen-Stratified Models
• Title（参考訳）: 固有成層モデル
• Authors: Jonathan Tuck, Stephen Boyd
• Abstract要約: 階層化されたモデルは、選択されたカテゴリ機能に任意の方法で依存し、$K$の値を取り、他の$n$の機能に線形に依存する。 グラフ上の特徴値に対するラプラシア正規化は、成層モデルの性能を大幅に向上させることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stratified models depend in an arbitrary way on a selected categorical feature that takes $K$ values, and depend linearly on the other $n$ features. Laplacian regularization with respect to a graph on the feature values can greatly improve the performance of a stratified model, especially in the low-data regime. A significant issue with Laplacian-regularized stratified models is that the model is $K$ times the size of the base model, which can be quite large. We address this issue by formulating eigen-stratifed models, which are stratified models with an additional constraint that the model parameters are linear combinations of some modest number $m$ of bottom eigenvectors of the graph Laplacian, i.e., those associated with the $m$ smallest eigenvalues. With eigen-stratified models, we only need to store the $m$ bottom eigenvectors and the corresponding coefficients as the stratified model parameters. This leads to a reduction, sometimes large, of model size when $m \leq n$ and $m \ll K$. In some cases, the additional regularization implicit in eigen-stratified models can improve out-of-sample performance over standard Laplacian regularized stratified models.
• Abstract（参考訳）: 成層モデルは、k$の値を取る選択されたカテゴリの特徴に任意の方法で依存し、他の$n$の特徴に線形に依存する。 特徴値のグラフに対するラプラシアン正則化は、特に低データ環境において、階層化されたモデルの性能を大幅に改善することができる。 laplacian-regularized stratified modelの大きな問題は、モデルのサイズがベースモデルのサイズの1k$倍であることです。 モデルパラメータはグラフラプラシアンのボトム固有ベクトルのわずか数$m$の線形結合である、すなわち、$m$最小固有値に関連するような、追加の制約付き成層モデルである固有成層モデルを定式化することでこの問題に対処する。 固有成層モデルでは、$m$ボトム固有ベクトルと対応する係数を成層モデルパラメータとして格納するだけでよい。 これにより、$m \leq n$ と $m \ll K$ のモデルサイズが減少することがある。 場合によっては、固有成層モデルに暗黙的に追加される正規化により、標準ラプラシアン正規成層モデルよりもサンプル外の性能が向上する。

関連論文リスト

• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Continuous Language Model Interpolation for Dynamic and Controllable Text Generation [7.535219325248997]
  私たちは、モデルが多様な、そしてしばしば変化する、ユーザの好みに動的に適応しなければならない、困難なケースに注目します。 線形重みに基づく適応手法を活用し、連続的なマルチドメイン補間子としてキャストする。 重みの変化がモデル出力の予測可能かつ一貫した変化をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-04-10T15:55:07Z)
• An Analysis of Linear Time Series Forecasting Models [0.0]
  時系列予測のための線形モデルの一般的な変種は、標準の非制約線形回帰と等価であり、機能的に区別できない。 検査対象のモデルがほぼ同じ解を学習していることを示す実験的な証拠を提示し, 最終的に, より単純なクローズドフォームソリューションが, テスト設定の72%にまたがる優れた予測器であることを実証した。
  論文  参考訳（メタデータ） (2024-03-21T17:42:45Z)
• $p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets [74.37849422071206]
  本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。 p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T10:54:41Z)
• Universal and data-adaptive algorithms for model selection in linear contextual bandits [52.47796554359261]
  モデル選択の最も単純な非自明な例を考える: 単純な多重武装バンディット問題と線形文脈バンディット問題とを区別する。 データ適応的な方法で探索する新しいアルゴリズムを導入し、$mathcalO(dalpha T1- alpha)$という形式の保証を提供する。 我々のアプローチは、いくつかの仮定の下で、ネストされた線形文脈包帯のモデル選択に拡張する。
  論文  参考訳（メタデータ） (2021-11-08T18:05:35Z)
• Spike-and-Slab Generalized Additive Models and Scalable Algorithms for High-Dimensional Data [0.0]
  本稿では,高次元データに対応するため,階層型一般化加法モデル(GAM)を提案する。 曲線の適切な縮退と滑らか化関数線型空間と非線形空間の分離に対する平滑化ペナルティを考察する。 2つの決定論的アルゴリズム、EM-Coordinate Descent と EM-Iterative Weighted Least Squares は異なるユーティリティ向けに開発された。
  論文  参考訳（メタデータ） (2021-10-27T14:11:13Z)
• On Model Selection Consistency of Lasso for High-Dimensional Ising Models on Tree-like Graphs [13.14903445595385]
  近傍型最小絶対収縮・選択演算子(Lasso)を用いた高次元イジングモデル選択の問題点を考察する。 常磁性相の任意の木様グラフに対して、サンプルサイズ$n=Omega(d3logp)$で一貫したモデル選択が達成できることは厳密に証明されている。 ラッソの人気と効率性を考えると、厳密な解析はイジングモデル選択における実践的利用の理論的裏付けとなる。
  論文  参考訳（メタデータ） (2021-10-16T07:23:02Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• LowFER: Low-rank Bilinear Pooling for Link Prediction [4.110108749051657]
  本稿では,多モーダル学習においてよく用いられる因子化双線形プールモデルを提案する。 我々のモデルは、他のモデルを一般化することが示されている分解タッカーベースのタッカーモデルを自然に一般化する。 実世界のデータセット、パー・オブ・ザ・アーティファクトのパフォーマンスについて評価する。
  論文  参考訳（メタデータ） (2020-08-25T07:33:52Z)
• Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
  乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。 アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。 ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
  論文  参考訳（メタデータ） (2020-02-20T10:50:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。