論文の概要: PAC-Bayes Bounds for Multivariate Linear Regression and Linear Autoencoders

• arxiv url: http://arxiv.org/abs/2512.12905v1
• Date: Mon, 15 Dec 2025 01:12:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.493584
• Title: PAC-Bayes Bounds for Multivariate Linear Regression and Linear Autoencoders
• Title（参考訳）: 多変量線形回帰と線形オートエンコーダのためのPAC-Bayes境界
• Authors: Ruixin Guo, Ruoming Jin, Xinyu Li, Yang Zhou,
• Abstract要約: 線形オートエンコーダ(LAE)は最先端のレコメンデータシステムにおいて高い性能を示している。 統計的学習におけるモデル性能の理論的尺度である一般化可能性について検討する。
• 参考スコア（独自算出の注目度）: 10.40360267905115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linear Autoencoders (LAEs) have shown strong performance in state-of-the-art recommender systems. However, this success remains largely empirical, with limited theoretical understanding. In this paper, we investigate the generalizability -- a theoretical measure of model performance in statistical learning -- of multivariate linear regression and LAEs. We first propose a PAC-Bayes bound for multivariate linear regression, extending the earlier bound for single-output linear regression by Shalaeva et al., and establish sufficient conditions for its convergence. We then show that LAEs, when evaluated under a relaxed mean squared error, can be interpreted as constrained multivariate linear regression models on bounded data, to which our bound adapts. Furthermore, we develop theoretical methods to improve the computational efficiency of optimizing the LAE bound, enabling its practical evaluation on large models and real-world datasets. Experimental results demonstrate that our bound is tight and correlates well with practical ranking metrics such as Recall@K and NDCG@K.
• Abstract（参考訳）: 線形オートエンコーダ(LAE)は最先端のレコメンデータシステムにおいて高い性能を示している。 しかし、この成功は大半が経験的であり、理論的な理解は限られている。 本稿では,多変量線形回帰とLEEの一般化可能性(統計的学習におけるモデル性能の理論尺度)について検討する。 まず、多変量線形回帰に対するPAC-Bayes境界を提案し、シャラエヴァらによる単出力線形回帰に対する以前の境界を拡張し、収束のための十分な条件を確立する。 次に、緩和平均二乗誤差で評価すると、LAEは有界データ上の制約付き多変量線形回帰モデルとして解釈できることを示す。 さらに, LAE境界の最適化による計算効率向上のための理論的手法を開発し, 大規模モデルと実世界のデータセットの実用的評価を可能にした。 実験の結果,Recall@K や NDCG@K などの実測値との相関性は良好であった。

関連論文リスト

• Generalized Linear Bandits: Almost Optimal Regret with One-Pass Update [70.38810219913593]
  非線形リンク関数を組み込んで古典線形モデルを拡張したコンテキスト型多武装バンディットフレームワークである一般化線形バンディット問題(GLB)について検討する。 GLBは現実世界のシナリオに広く適用できるが、その非線形性は計算効率と統計効率の両方を達成する上で大きな課題をもたらす。 本稿では,$mathcalO(1)$時間と1ラウンドあたりの空間複雑度をほぼ最適に再現するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-07-16T02:24:21Z)
• A Simplified Analysis of SGD for Linear Regression with Weight Averaging [64.2393952273612]
  最近の研究は、定常学習率を用いた線形回帰におけるSGD最適化のためのシャープレートを提供する。 簡単な線形代数ツールを用いて,2021ベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグナグニグニグニグニグニグニグニグニグニグニグネグニグニグニグニグネグニグニグネグニ 我々の研究は線形回帰の勾配勾配を非常に容易に解析し、ミニバッチと学習率のスケジューリングのさらなる分析に役立てることができると信じている。
  論文  参考訳（メタデータ） (2025-06-18T15:10:38Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Learning a Class of Mixed Linear Regressions: Global Convergence under General Data Conditions [1.9295130374196499]
  線形回帰モデル(MLR)は線形回帰モデル(英語版)の混合を利用して非線形関係における理論的および実践的重要性から注目されている。 このようなシステムの学習問題に多大な努力が注がれているが、既存のほとんどの調査では、厳密な独立性と同一に分散された(d.d.)あるいは分散PE条件が課されている。
  論文  参考訳（メタデータ） (2025-03-24T09:57:39Z)
• Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
  本稿では,高次元一般化線形モデルにおけるオンライン推論に対する新しいアプローチを提案する。 提案手法は単一パスモードで動作し,全データセットアクセスや大次元要約統計ストレージを必要とする既存手法とは異なる。 我々の方法論的革新の核心は、動的目的関数に適した適応的降下アルゴリズムと、新しいオンラインデバイアス処理である。
  論文  参考訳（メタデータ） (2024-05-28T15:36:48Z)
• Statistical Inference for Linear Functionals of Online SGD in High-dimensional Linear Regression [7.884611719110979]
  勾配降下 (SGD) は、データ科学者のツールボックスにおいて重要な方法として登場した。 我々は,オンラインSGDの線形汎関数に対する高次元中心極限定理(CLT)を確立し,非等方的ガウス入力を用いた過度な最小二乗回帰を行う。 我々は,CLTに現れる分散項を推定するオンライン手法を開発し,開発したオンライン推定器の高確率バウンダリを確立する。
  論文  参考訳（メタデータ） (2023-02-20T02:38:36Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Causality-aware counterfactual confounding adjustment as an alternative to linear residualization in anticausal prediction tasks based on linear learners [14.554818659491644]
  反因果予測タスクにおける因果関係を考慮した共起調整に対する線形残差化手法の比較を行った。 線形学習者の予測性能において,因果認識アプローチは(漸近的に)残留化調整に優れる傾向があることを示す。
  論文  参考訳（メタデータ） (2020-11-09T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。