論文の概要: MMbeddings: Parameter-Efficient, Low-Overfitting Probabilistic Embeddings Inspired by Nonlinear Mixed Models

• arxiv url: http://arxiv.org/abs/2510.22198v2
• Date: Sat, 01 Nov 2025 07:01:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-04 14:12:27.959773
• Title: MMbeddings: Parameter-Efficient, Low-Overfitting Probabilistic Embeddings Inspired by Nonlinear Mixed Models
• Title（参考訳）: MMベディング:非線形混合モデルに着想を得たパラメータ効率・低収量確率的埋め込み
• Authors: Giora Simchoni, Saharon Rosset,
• Abstract要約: MMbeddingsは、非線形混合モデルのレンズを通して分類的埋め込みエンコーダを再解釈する確率的埋め込み手法である。 MMbeddingsは従来の埋め込みよりも一貫して優れており、さまざまな機械学習アプリケーションにまたがる可能性を示している。
• 参考スコア（独自算出の注目度）: 5.314043336774377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present MMbeddings, a probabilistic embedding approach that reinterprets categorical embeddings through the lens of nonlinear mixed models, effectively bridging classical statistical theory with modern deep learning. By treating embeddings as latent random effects within a variational autoencoder framework, our method substantially decreases the number of parameters -- from the conventional embedding approach of cardinality $\times$ embedding dimension, which quickly becomes infeasible with large cardinalities, to a significantly smaller, cardinality-independent number determined primarily by the encoder architecture. This reduction dramatically mitigates overfitting and computational burden in high-cardinality settings. Extensive experiments on simulated and real datasets, encompassing collaborative filtering and tabular regression tasks using varied architectures, demonstrate that MMbeddings consistently outperforms traditional embeddings, underscoring its potential across diverse machine learning applications.
• Abstract（参考訳）: 本稿では,非線形混合モデルのレンズを通して分類的埋め込みを再解釈する確率論的埋め込み手法MMbeddingsについて述べる。 変分自己エンコーダフレームワーク内での埋め込みを遅延ランダム効果として扱うことにより、従来の濃度$\times$埋め込み次元の埋め込みアプローチから、エンコーダアーキテクチャによって主に決定される基数非依存の数へと、パラメータの数を大幅に減少させる。 この減少は、高濃度設定における過度な適合と計算負担を劇的に軽減する。 さまざまなアーキテクチャを使用した協調的なフィルタリングと表の回帰タスクを含むシミュレーションと実際のデータセットに関する大規模な実験は、MMbeddingが従来の埋め込みよりも一貫して優れており、さまざまな機械学習アプリケーションにまたがる可能性を示している。

関連論文リスト

• Hadamard-Riemannian Optimization for Margin-Variance Ensemble [0.0]
  本稿では,損失関数に差分分散を明示的に組み込んだ新しいアンサンブル学習フレームワークを提案する。 提案手法は負の予測マージンとその分散を共同で最適化し,ロバスト性の向上と一般化性能の向上に繋がった。
  論文  参考訳（メタデータ） (2025-09-12T12:28:39Z)
• Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
  複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。 我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T23:13:55Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• On the Embedding Collapse when Scaling up Recommendation Models [53.66285358088788]
  埋め込み崩壊現象をスケーラビリティの阻害とみなし、埋め込み行列は低次元の部分空間を占有する傾向にある。 本稿では,組込み集合固有の相互作用モジュールを組み込んで,多様性を持つ組込み集合を学習する,単純かつ効果的な組込み設計を提案する。
  論文  参考訳（メタデータ） (2023-10-06T17:50:38Z)
• SOFARI: High-Dimensional Manifold-Based Inference [8.110522214647489]
  我々は、高次元多様体に基づくSOFAR推論(SOFARI)と呼ばれる新しいアプローチを提案する。 推論を可能にするために不可欠である基礎となるスティーフェル多様体構造を利用することで、SOFARIは潜在左因子ベクトルと特異値の両方に対して、容易に使用可能なバイアス補正推定器を提供する。 本稿では,SOFARIの有効性を概説し,シミュレーション例による理論結果の正当化と,経済予測における実データの適用について述べる。
  論文  参考訳（メタデータ） (2023-09-26T16:01:54Z)
• Neural Mixture Distributional Regression [0.9023847175654603]
  フレキシブルな加法予測器によって定義される分布回帰の有限混合を推定する包括的枠組みを提案する。 我々のフレームワークは、高次元の設定において、潜在的に異なる分布の多くの混合を処理できる。
  論文  参考訳（メタデータ） (2020-10-14T09:00:16Z)
• Scaling Bayesian inference of mixed multinomial logit models to very large datasets [9.442139459221785]
  本稿では,バックプロパゲーション,自動微分,GPU加速計算を活用するアモルティファイド変分推論手法を提案する。 本研究では, 後部近似の柔軟性を高めるために, フローの正規化がいかに有効かを示す。
  論文  参考訳（メタデータ） (2020-04-11T15:30:47Z)
• CATVI: Conditional and Adaptively Truncated Variational Inference for Hierarchical Bayesian Nonparametric Models [0.0]
  条件付きおよび適応的にトランケートされた変分推定法(CATVI)を提案する。 CATVIは、ばらつきと真の後部の間のより小さなばらつきを含む、伝統的な方法よりもいくつかの利点がある。 3つの大きなデータセットに関する実証的研究により、ベイズ非パラメトリックトピックモデルに適用されたCATVIが競合モデルを大幅に上回っていることが明らかになった。
  論文  参考訳（メタデータ） (2020-01-13T19:27:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。