論文の概要: LIT-LVM: Structured Regularization for Interaction Terms in Linear Predictors using Latent Variable Models

• arxiv url: http://arxiv.org/abs/2506.15492v1
• Date: Wed, 18 Jun 2025 14:30:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.691468
• Title: LIT-LVM: Structured Regularization for Interaction Terms in Linear Predictors using Latent Variable Models
• Title（参考訳）: LIT-LVM:潜在変数モデルを用いた線形予測器における相互作用項の構造正規化
• Authors: Mohammadreza Nemati, Zhipeng Huang, Kevin S. Xu,
• Abstract要約: 線形予測器における相互作用項の係数を正確に推定する問題を考察する。 LIT-LVMと呼ばれる我々の手法は、弾性ネットやファクトリゼーションマシンと比較して予測精度が優れていることを実証する。
• 参考スコア（独自算出の注目度）: 2.4084733805040153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Some of the simplest, yet most frequently used predictors in statistics and machine learning use weighted linear combinations of features. Such linear predictors can model non-linear relationships between features by adding interaction terms corresponding to the products of all pairs of features. We consider the problem of accurately estimating coefficients for interaction terms in linear predictors. We hypothesize that the coefficients for different interaction terms have an approximate low-dimensional structure and represent each feature by a latent vector in a low-dimensional space. This low-dimensional representation can be viewed as a structured regularization approach that further mitigates overfitting in high-dimensional settings beyond standard regularizers such as the lasso and elastic net. We demonstrate that our approach, called LIT-LVM, achieves superior prediction accuracy compared to elastic net and factorization machines on a wide variety of simulated and real data, particularly when the number of interaction terms is high compared to the number of samples. LIT-LVM also provides low-dimensional latent representations for features that are useful for visualizing and analyzing their relationships.
• Abstract（参考訳）: 統計学や機械学習における最も単純だがもっとも頻繁に使われる予測器のいくつかは、重み付けされた機能の組み合わせを使用している。 そのような線形予測子は、すべての特徴の積に対応する相互作用項を追加することによって、特徴間の非線形関係をモデル化することができる。 線形予測器における相互作用項の係数を正確に推定する問題を考察する。 異なる相互作用項の係数は近似的な低次元構造を持ち、各特徴を低次元空間における潜在ベクトルで表すという仮説を立てる。 この低次元表現は、ラッソや弾性ネットのような標準正規化子を超えた高次元設定における過剰適合を緩和する構造化正則化アプローチと見なすことができる。 LIT-LVMと呼ばれる我々の手法は、様々なシミュレーションおよび実データ上での弾性ネットや分解機と比較して、特に相互作用項の数がサンプル数より多い場合には、予測精度が優れていることを実証する。 LIT-LVMはまた、それらの関係を視覚化し分析するのに有用な機能に対して、低次元の潜在表現を提供する。

関連論文リスト

• Random Matrix Theory for Deep Learning: Beyond Eigenvalues of Linear Models [51.85815025140659]
  現代の機械学習(ML)とディープニューラルネットワーク(DNN)は高次元のデータを扱うことが多い。 特に、データ次元、サンプルサイズ、モデルパラメータの数がすべて大きな比例規則は、新しく、時には直感に反する振る舞いを引き起こす。 本稿では、線形モデルの固有値に基づく解析を超えて従来のランダム行列理論(RMT)を拡張し、非線形MLモデルによる課題に対処する。
  論文  参考訳（メタデータ） (2025-06-16T06:54:08Z)
• Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
  近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。 ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
  論文  参考訳（メタデータ） (2025-06-12T17:32:02Z)
• Factorized Fusion Shrinkage for Dynamic Relational Data [16.531262817315696]
  本稿では,すべての分解因子がグループ単位の核融合構造に対して動的に縮小される因子化核融合収縮モデルについて考察する。 提案手法は、推定された動的潜在因子の比較とクラスタリングにおいて、多くの好ましい特性を享受する。 本稿では、最適後部推論と計算スケーラビリティのバランスをとる構造的平均場変動推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-30T21:03:40Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• The Predictive Normalized Maximum Likelihood for Over-parameterized Linear Regression with Norm Constraint: Regret and Double Descent [12.929639356256928]
  現代の機械学習モデルは、予測規則の複雑さとその一般化能力の間のトレードオフに従わないことを示す。 最近提案された予測正規化最大値 (pNML) は、個々のデータに対するmin-max後悔解である。 我々は,pNML後悔を合成データ上でのポイントワイド学習可能性尺度として使用し,二重発生現象の予測に成功していることを示す。
  論文  参考訳（メタデータ） (2021-02-14T15:49:04Z)
• Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays [62.997667081978825]
  一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。 GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。 本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T04:28:19Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Controlling for sparsity in sparse factor analysis models: adaptive latent feature sharing for piecewise linear dimensionality reduction [2.896192909215469]
  本稿では,現在潜伏している特徴分解技術の鍵となる限界に対処できる,シンプルでトラクタブルな特徴割り当てモデルを提案する。 適応型因子分析(aFA)と適応型確率的原理成分分析(aPPCA)を応用し,柔軟な構造発見と次元減少を実現する。 APPCAとaFAは、生のMNISTに適用した場合と、オートエンコーダの特徴を解釈する場合の両方において、高いレベルの特徴を推測できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T16:09:11Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。