論文の概要: On the Regularization Landscape for the Linear Recommendation Models

• arxiv url: http://arxiv.org/abs/2609.11876v1
• Date: Thu, 10 Sep 2026 17:45:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.473532
• Title: On the Regularization Landscape for the Linear Recommendation Models
• Title（参考訳）: 線形勧告モデルの正規化景観について
• Abstract要約: モデルに匹敵するパフォーマンスが偶然であるかどうか、あるいは単一のフレームワークで統一できるかどうかを調査する。 すべての線形性能リーダは、核ノルムをベースとした正則化器またはフロベニウスをベースとした正則化器のみを効果的に追加することを発見した。 フロベニウス-ノルム系正規化器を慎重に一般化した2つの低ランク閉形式解を提案する。
• 参考スコア（独自算出の注目度）: 29.66733169769806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, a wide range of recommendation algorithms inspired by deep learning techniques have emerged as the performance leaders on several standard recommendation benchmarks. While these algorithms were built on different DL techniques (e.g., dropouts, autoencoder), they have similar performance and even similar cost functions. This paper studies whether the models' comparable performance are sheer coincidence, or they can be unified under a single framework. We find that all linear performance leaders effectively add only a nuclear-norm based regularizer, or a Frobenius-norm based regularizer. The former ones possess a (surprising) rigid structure that limits the models' predictive power but their solutions are low rank and have closed form. The latter ones are more expressive and more efficient for recommendation but their solutions are either full-rank or require executing hard-to-tune numeric procedures such as ADMM. Along this line of finding, we further propose two low-rank, closed-form solutions, derived from carefully generalizing Frobenius-norm based regularizers. The new solutions get the best of both nuclear-norm and Frobenius-norm world.
• Abstract（参考訳）: 近年,いくつかの標準レコメンデーションベンチマークのパフォーマンスリーダとして,ディープラーニング技術にインスパイアされた幅広いレコメンデーションアルゴリズムが登場している。 これらのアルゴリズムは異なるDL技術(例えば、ドロップアウト、オートエンコーダ)で構築されているが、同様の性能とコスト関数を持つ。 本稿では,モデルに匹敵する性能が偶然であるかどうか,あるいは単一のフレームワークで統一可能であるかを検討する。 すべての線形性能リーダは、核ノルムをベースとした正則化器またはフロベニウスをベースとした正則化器のみを効果的に追加することを発見した。 前者は、モデルの予測力を制限する(予想される)剛構造を持っているが、それらの解はランクが低く、閉形式である。 後者は推奨に対してより表現力が高く効率が良いが、そのソリューションはフルランクかADMMのような難解な数値処理を実行する必要がある。 この発見の線に沿って、フロベニウス-ノルム基底正則化器を慎重に一般化した2つの低ランク閉形式解も提案する。 この新しいソリューションは、核・ノームとフロベニウス・ノームの世界の両方を最大限に活用する。

関連論文リスト

• Towards The Implicit Bias on Multiclass Separable Data Under Norm Constraints [3.421126849736858]
  核ノルム制約を通した低階構造を強制するために設計された幾何認識幾何学であるNucGDを紹介する。 スケーラブルなトレーニングを実現するため、非同期電力繰り返しによる効率的なSVDフリー更新ルールを導出する。 我々は、最小バッチサンプリングと運動量によって誘導される勾配ノイズの変動レベルが、期待される最大マージン解に対する収束をどう変調するかを特徴付ける、勾配最適化のダイナミクスの影響を実験的に分析する。
  論文  参考訳（メタデータ） (2026-03-24T05:51:50Z)
• Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods [50.070182958880146]
  本稿では,事前条件付き行列ノルムの新たな概念を通じて,降下法,準ニュートン法,適応法を一般化する統一的枠組みを提案する。 この枠組みでは、行列パラメータ化設定におけるアフィンとスケール不変性の最初の体系的処理を提供する。 我々は、Muonのスペクトル幾何学とAdamスタイルのプレコンディショニングを組み合わせた、$ttMuAdam$と$texttMuAdam-SANIA$という2つの新しい方法を紹介した。
  論文  参考訳（メタデータ） (2025-10-12T19:39:41Z)
• Efficient Differentiable Approximation of Generalized Low-rank Regularization [64.73416824444328]
  低ランク正規化(LRR)は様々な機械学習タスクに広く応用されている。 本稿では,LRRの効率的な微分可能近似を提案する。
  論文  参考訳（メタデータ） (2025-05-21T11:49:17Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。 我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Adaptive Neural Ranking Framework: Toward Maximized Business Goal for Cascade Ranking Systems [33.46891569350896]
  カスケードランキングは、オンライン広告とレコメンデーションシステムにおける大規模なトップk選択問題に広く使われている。 それまでの学習からランクへの取り組みは、モデルに完全な順序やトップクオーダを学習させることに重点を置いていた。 我々はこの手法をアダプティブ・ニューラルランキング・フレームワーク (Adaptive Neural Ranking Framework, ARF) と命名する。
  論文  参考訳（メタデータ） (2023-10-16T14:43:02Z)
• Implicitly normalized forecaster with clipping for linear and non-linear heavy-tailed multi-armed bandits [85.27420062094086]
  Implicitly Normalized Forecaster (INF) は、敵対的マルチアームバンディット(MAB)問題に対する最適解であると考えられている。 重み付き設定のMAB問題に対するクリッピング(INFclip)を用いたINFの新バージョン"Implicitly Normalized Forecaster"を提案する。 INFclipは線形重み付きMAB問題に対して最適であり、非線形問題に対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-11T12:00:43Z)
• Adapting to Misspecification in Contextual Bandits [82.55565343668246]
  我々は、$varepsilon$-misspecified contextual banditsに対して、新しいオラクル効率アルゴリズム群を導入する。 我々は、未知の不特定値に対して最適な$O(dsqrtT + varepsilonsqrtdT)$ regret boundを達成する最初のアルゴリズムを得る。
  論文  参考訳（メタデータ） (2021-07-12T21:30:41Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)
• Accurate Optimization of Weighted Nuclear Norm for Non-Rigid Structure from Motion [15.641335104467982]
  2次法によりより正確な結果が得られることを示す。 我々の主な結果は、一般正規化子のクラスに対して双線型定式化を構築する方法を示している。 動作問題からの多くの構造について実験により,本手法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-23T13:52:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。