論文の概要: Matrix Sensing with Kernel Optimal Loss: Robustness and Optimization Landscape

• arxiv url: http://arxiv.org/abs/2511.02122v1
• Date: Mon, 03 Nov 2025 23:22:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 18:47:05.705968
• Title: Matrix Sensing with Kernel Optimal Loss: Robustness and Optimization Landscape
• Title（参考訳）: カーネル最適損失を用いたマトリックスセンシング:ロバストさと最適化景観
• Authors: Xinyuan Song, Jiaye Teng, Ziye Ma,
• Abstract要約: 従来の回帰タスクでは、平均二乗誤差(MSE)損失は一般的な選択であるが、ガウス的でないノイズや重み付きノイズは信頼できない。 我々は,残差密度のカーネルベース推定に基づくロバストな損失定式化を採用し,その推定対数類似度を最大化する。
• 参考スコア（独自算出の注目度）: 10.674539579679871
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we study how the choice of loss functions of non-convex optimization problems affects their robustness and optimization landscape, through the study of noisy matrix sensing. In traditional regression tasks, mean squared error (MSE) loss is a common choice, but it can be unreliable for non-Gaussian or heavy-tailed noise. To address this issue, we adopt a robust loss based on nonparametric regression, which uses a kernel-based estimate of the residual density and maximizes the estimated log-likelihood. This robust formulation coincides with the MSE loss under Gaussian errors but remains stable under more general settings. We further examine how this robust loss reshapes the optimization landscape by analyzing the upper-bound of restricted isometry property (RIP) constants for spurious local minima to disappear. Through theoretical and empirical analysis, we show that this new loss excels at handling large noise and remains robust across diverse noise distributions. This work offers initial insights into enhancing the robustness of machine learning tasks through simply changing the loss, guided by an intuitive and broadly applicable analytical framework.
• Abstract（参考訳）: 本稿では,非凸最適化問題における損失関数の選択が,その頑健さと最適化景観にどう影響するかを,ノイズ行列センシングを用いて検討する。 従来の回帰タスクでは平均二乗誤差(MSE)損失は一般的な選択であるが、非ガウス雑音や重尾雑音では信頼性が低い。 この問題に対処するために、カーネルベースで残差密度を推定し、推定ログ類似度を最大化する非パラメトリック回帰に基づくロバストな損失を採用する。 この堅牢な定式化はガウス誤差の下でのMSE損失と一致するが、より一般的な条件下では安定である。 さらに, このロバストな損失が, 局所最小値が消失する制限等尺特性(RIP)の上限値の解析により, 最適化景観にどう影響するかを考察した。 理論的および経験的分析により、この新たな損失は大きなノイズを扱うのに優れ、様々なノイズ分布に対して頑健であることを示す。 この研究は、直感的で広く適用可能な分析フレームワークによってガイドされる損失を単に変更することで、機械学習タスクの堅牢性を高めるための最初の洞察を提供する。

関連論文リスト

• Overcoming the Loss Conditioning Bottleneck in Optimization-Based PDE Solvers: A Novel Well-Conditioned Loss Function [1.6135205846394396]
  近年,スカラー損失関数を最小化するPDEソルバが注目されている。 このような手法は古典的反復解法よりもはるかにゆっくりと収束し、一般に非効率的とみなされる。 この研究は理論的な洞察を与え、平均二乗誤差(MSE)損失の使用に非効率性をもたらす。 重みパラメータをチューニングすることにより、制限ケースでのMSE損失を低減しつつ、元のシステムとその正規方程式の間の条件数を柔軟に変調する。
  論文  参考訳（メタデータ） (2025-07-24T10:17:02Z)
• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
  敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。 我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-12T17:08:31Z)
• Support Vector Machines with the Hard-Margin Loss: Optimal Training via Combinatorial Benders' Cuts [8.281391209717105]
  我々は、グローバルな最適性のために、ハードマージンのSVMモデルをトレーニングする方法を示す。 本稿では,この問題を解くための反復サンプリングと部分分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-15T18:21:51Z)
• Robust Matrix Completion with Heavy-tailed Noise [0.5837881923712392]
  本稿では,重み付き潜在的非対称雑音の存在下での低ランク行列の完全性について検討する。 本稿では,大規模かつ非対称な誤りに対して頑健な重み付き雑音に適応するハマー損失を適応的に適用する。 誤差の2番目のモーメント条件下では、ユークリッド誤差は最小値の統計的推定誤差に到達するまで幾何的に早く落ちることが証明される。
  論文  参考訳（メタデータ） (2022-06-09T04:48:48Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Beyond variance reduction: Understanding the true impact of baselines on policy optimization [24.09670734037029]
  学習力学は損失関数の曲率と勾配推定の雑音によって制御されることを示す。 我々は,少なくとも包帯問題では,曲率や雑音が学習力学を説明するのに十分でないことを示す理論的結果を示す。
  論文  参考訳（メタデータ） (2020-08-31T17:52:09Z)
• Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms [69.45237691598774]
  マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。 この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。 本稿では,経験的リプレイに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T04:26:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。