論文の概要: Bias-variance Tradeoff in Tensor Estimation

• arxiv url: http://arxiv.org/abs/2509.17382v1
• Date: Mon, 22 Sep 2025 06:46:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.240235
• Title: Bias-variance Tradeoff in Tensor Estimation
• Title（参考訳）: テンソル推定におけるバイアス分散トレードオフ
• Authors: Shivam Kumar, Haotian Xu, Carlos Misael Madrid Padilla, Yuehaw Khoo, Oscar Hernan Madrid Padilla, Daren Wang,
• Abstract要約: 基底トラステンソルが必ずしもタッカー低ランクであるとは限らないとき、三階テンソルの復調について検討する。 我々は高階テンソルSVD推定器$widetildeX$の単純な変種を提案する。 推定器 $widetildeX$ のランクを上げると、バイアス $xi(r_1,r_2,r_3)$ が減少し、分散が増加する。
• 参考スコア（独自算出の注目度）: 13.470150593475141
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We study denoising of a third-order tensor when the ground-truth tensor is not necessarily Tucker low-rank. Specifically, we observe $$ Y=X^\ast+Z\in \mathbb{R}^{p_{1} \times p_{2} \times p_{3}}, $$ where $X^\ast$ is the ground-truth tensor, and $Z$ is the noise tensor. We propose a simple variant of the higher-order tensor SVD estimator $\widetilde{X}$. We show that uniformly over all user-specified Tucker ranks $(r_{1},r_{2},r_{3})$, $$ \| \widetilde{X} - X^* \|_{ \mathrm{F}}^2 = O \Big( \kappa^2 \Big\{ r_{1}r_{2}r_{3}+\sum_{k=1}^{3} p_{k} r_{k} \Big\} \; + \; \xi_{(r_{1},r_{2},r_{3})}^2\Big) \quad \text{ with high probability.} $$ Here, the bias term $\xi_{(r_1,r_2,r_3)}$ corresponds to the best achievable approximation error of $X^\ast$ over the class of tensors with Tucker ranks $(r_1,r_2,r_3)$; $\kappa^2$ quantifies the noise level; and the variance term $\kappa^2 \{r_{1}r_{2}r_{3}+\sum_{k=1}^{3} p_{k} r_{k}\}$ scales with the effective number of free parameters in the estimator $\widetilde{X}$. Our analysis achieves a clean rank-adaptive bias--variance tradeoff: as we increase the ranks of estimator $\widetilde{X}$, the bias $\xi(r_{1},r_{2},r_{3})$ decreases and the variance increases. As a byproduct we also obtain a convenient bias-variance decomposition for the vanilla low-rank SVD matrix estimators.
• Abstract（参考訳）: 基底トラステンソルが必ずしもタッカー低ランクであるとは限らないとき、三階テンソルの復調について検討する。 具体的には、$$ Y=X^\ast+Z\in \mathbb{R}^{p_{1} \times p_{2} \times p_{3}}, $$ where $X^\ast$ is the ground-truth tensor, $Z$ is the noise tensor。 我々は高階テンソル SVD 推定器 $\widetilde{X}$ の単純な変種を提案する。 ユーザ指定の Tucker rank $(r_{1},r_{2},r_{3})$, $$ \| \widetilde{X} - X^* \|_{ \mathrm{F}}^2 = O \Big( \kappa^2 \Big\{ r_{1}r_{2}r_{3}+\sum_{k=1}^{3} p_{k} r_{k} \Big\} \; + \; \xi_{(r_{1},r_{2},r_{3})}^2\Big) \quad \text{ with high probability。 ここで、バイアス項 $\xi_{(r_1,r_2,r_3)}$は、タッカー階数 $(r_1,r_2,r_3)$; $\kappa^2$ がノイズレベルを定量化するテンソルのクラス上での最良の近似誤差 $X^\ast$ に対応し、分散項 $\kappa^2 \{r_{1}r_{2}r_{3}+\sum_{k=1}^{3} p_{k} r_{k}\}$ は、推定器 $\widetilde{X}$ の有効パラメータ数でスケールする。 評価器 $\widetilde{X}$, バイアス $\xi(r_{1},r_{2},r_{3})$ が減少し, 分散が増加する。 副生成物として、バニラ低ランクSVD行列推定器に便利なバイアス分散分解が得られる。

関連論文リスト

• On the $O(\frac{\sqrt{d}}{K^{1/4}})$ Convergence Rate of AdamW Measured by $\ell_1$ Norm [52.95596504632859]
  本稿では、$ell_1$ノルムで測定されたAdamWに対して、収束速度 $frac1Ksum_k=1KEleft[||nabla f(xk)||_1right]leq O(fracsqrtdCK1/4)$を確立する。 実世界のディープラーニングタスクの実験では、$nabla f(x)$ の各要素が Gaussian $mathcal N(0,1)$ から生成されるときに $nabla f(x)$ が示される。
  論文  参考訳（メタデータ） (2025-05-17T05:02:52Z)
• Non-Convex Tensor Recovery from Local Measurements [22.688595434116777]
  本論文は, テンソル全体の検知が不可能な設定により, テンソル圧縮センシングモデルを提案する。 ScaleAlt-PGD-Alt-DMinが$mathcal O(log frac1epsilon)$を達成し、サンプルを$mathcal Oleftに改善することを証明する。
  論文  参考訳（メタデータ） (2024-12-23T05:04:56Z)
• Overcomplete Tensor Decomposition via Koszul-Young Flattenings [63.01248796170617]
  最小ランク1項の和として$n_times n times n_3$ tensorを分解する新しいアルゴリズムを与える。 次数-d$s のさらに一般的なクラスは、定数 $C = C(d)$ に対して階数 $Cn$ を超えることができないことを示す。
  論文  参考訳（メタデータ） (2024-11-21T17:41:09Z)
• On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm [54.28350823319057]
  本稿では、RMSPropとその運動量拡張を考察し、$frac1Tsum_k=1Tの収束速度を確立する。 我々の収束率は、次元$d$を除くすべての係数に関して下界と一致する。 収束率は$frac1Tsum_k=1Tと類似していると考えられる。
  論文  参考訳（メタデータ） (2024-02-01T07:21:32Z)
• Average-Case Complexity of Tensor Decomposition for Low-Degree Polynomials [93.59919600451487]
  多くの統計的推論タスクにおいて「統計計算ギャップ」が発生する。 1つの成分が他の成分よりもわずかに大きいランダムオーダー3分解モデルを考える。 テンソルエントリは$ll n3/2$のとき最大成分を正確に推定できるが、$rgg n3/2$のとき失敗する。
  論文  参考訳（メタデータ） (2022-11-10T00:40:37Z)
• Near-Linear Time and Fixed-Parameter Tractable Algorithms for Tensor Decompositions [51.19236668224547]
  テンソルの低階近似について検討し,テンソルトレインとタッカー分解に着目した。 テンソル列車の分解には、小さなビクリテリアランクを持つビクリテリア$(1 + eps)$-approximationアルゴリズムと、O(q cdot nnz(A))$ランニングタイムを与える。 さらに、任意のグラフを持つテンソルネットワークにアルゴリズムを拡張します。
  論文  参考訳（メタデータ） (2022-07-15T11:55:09Z)
• Stochastic Zeroth Order Gradient and Hessian Estimators: Variance Reduction and Refined Bias Bounds [6.137707924685666]
  我々は$mathbbRn$における実数値関数に対するゼロ次数とヘッセン推定器について検討する。 ランダムな方向に沿って有限差分を取ることにより、勾配有限差分推定器の分散を著しく低減できることを示す。
  論文  参考訳（メタデータ） (2022-05-29T18:53:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。