論文の概要: Multivariate Trend Filtering for Lattice Data

• arxiv url: http://arxiv.org/abs/2112.14758v2
• Date: Fri, 5 Apr 2024 18:27:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 06:04:02.962124
• Title: Multivariate Trend Filtering for Lattice Data
• Title（参考訳）: 格子データに対する多変量トレンドフィルタリング
• Authors: Veeranjaneyulu Sadhanala, Yu-Xiang Wang, Addison J. Hu, Ryan J. Tibshirani,
• Abstract要約: 設計点が$d$次元の格子を形成する場合、Kronecker trend filtering(KTF)と呼ばれるトレンドフィルタリングの多変量バージョンについて検討する。 我々は、$kmathrmth$ order Kronecker trend filtering in $d$ dimensions の振る舞いを記述する理論的な結果の完全なセットを開発する。
• 参考スコア（独自算出の注目度）: 15.798045922049862
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study a multivariate version of trend filtering, called Kronecker trend filtering or KTF, for the case in which the design points form a lattice in $d$ dimensions. KTF is a natural extension of univariate trend filtering (Steidl et al., 2006; Kim et al., 2009; Tibshirani, 2014), and is defined by minimizing a penalized least squares problem whose penalty term sums the absolute (higher-order) differences of the parameter to be estimated along each of the coordinate directions. The corresponding penalty operator can be written in terms of Kronecker products of univariate trend filtering penalty operators, hence the name Kronecker trend filtering. Equivalently, one can view KTF in terms of an $\ell_1$-penalized basis regression problem where the basis functions are tensor products of falling factorial functions, a piecewise polynomial (discrete spline) basis that underlies univariate trend filtering. This paper is a unification and extension of the results in Sadhanala et al. (2016, 2017). We develop a complete set of theoretical results that describe the behavior of $k^{\mathrm{th}}$ order Kronecker trend filtering in $d$ dimensions, for every $k \geq 0$ and $d \geq 1$. This reveals a number of interesting phenomena, including the dominance of KTF over linear smoothers in estimating heterogeneously smooth functions, and a phase transition at $d=2(k+1)$, a boundary past which (on the high dimension-to-smoothness side) linear smoothers fail to be consistent entirely. We also leverage recent results on discrete splines from Tibshirani (2020), in particular, discrete spline interpolation results that enable us to extend the KTF estimate to any off-lattice location in constant-time (independent of the size of the lattice $n$).
• Abstract（参考訳）: 設計点が$d$次元の格子を形成する場合、Kronecker trend filtering(KTF)と呼ばれるトレンドフィルタリングの多変量バージョンについて検討する。 KTFは単変数トレンドフィルタリング(Steidl et al , 2006; Kim et al , 2009; Tibshirani, 2014)の自然な拡張であり、ペナルティ項が各座標方向に沿って推定されるパラメータの絶対(高次)差を和る最小二乗問題を最小化することによって定義される。 対応するペナルティ演算子は、一変量トレンドフィルタリングペナルティ演算子のクロネッカー積(Kronecker product)で書くことができ、したがってクロネッカートレンドフィルタリング(Kronecker trend filtering)と呼ばれる。 同様に KTF は、基底関数が分解因数関数のテンソル積である$\ell_1$-penalized basis regression problem や、単変数トレンドフィルタリングの根底をなす分数多項式 (discrete spline) 基底の観点から見ることができる。 本論文はSadhanala et al(2016, 2017)の結果の統一と拡張である。 我々は$k^{\mathrm{th}}$ order Kronecker trend filtering in $d$ dimensions, for every $k \geq 0$ and $d \geq 1$。 このことは、不均一な滑らかな関数を推定する線形スムーダに対するKTFの優位性や、(高次元から滑らかな側で)線形スムーダが完全に整合しない境界過去の$d=2(k+1)$での相転移など、多くの興味深い現象を浮き彫りにしている。 我々はまた、Tibshirani (2020) の離散スプラインに関する最近の結果、特に離散スプライン補間結果を利用して、KTF推定値を定数時間(格子 $n$ の大きさに依存しない)で任意の非格子位置まで拡張することができる。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• An adaptive ensemble filter for heavy-tailed distributions: tuning-free inflation and localization [0.3749861135832072]
  重尾は、非線形力学および観察過程から生じる分布をフィルタリングする一般的な特徴である。 本研究では,各状態と観測値の同時予測分布のサンプルから,前から後への更新を推定するアルゴリズムを提案する。 本稿では,新しいアンサンブルフィルタの利点について述べる。
  論文  参考訳（メタデータ） (2023-10-12T21:56:14Z)
• Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum Minimization [52.25843977506935]
  有限サム構造をもつ$L$-smooth, non-deuction関数に対して, AdaSpider と呼ばれる適応分散法を提案する。 そうすることで、$tildeOleft + st/epsilonコールで$epsilon-stationaryポイントを計算することができます。
  論文  参考訳（メタデータ） (2022-11-03T14:41:46Z)
• Dimension free ridge regression [10.434481202633458]
  我々は、リッジ回帰のバイアスとばらつきの観点から、すなわちデータ上のリッジ回帰を再考し、等価なシーケンスモデルのバイアスとばらつきの観点から、リッジ回帰のバイアスとばらつきを考察する。 新しい応用として、定期的に変化するスペクトルを持つヒルベルト共変量に対して、完全に明示的で鋭い尾根回帰特性を得る。
  論文  参考訳（メタデータ） (2022-10-16T16:01:05Z)
• Generalization Bounds for Stochastic Gradient Descent via Localized $\varepsilon$-Covers [16.618918548497223]
  本稿では,SGDの軌道に局在する新しい被覆手法を提案する。 このローカライゼーションは、境界数によって測定されるアルゴリズム固有のクラスタリングを提供する。 これらの結果は様々な文脈で導き出され、既知の最先端のラベルレートが向上する。
  論文  参考訳（メタデータ） (2022-09-19T12:11:07Z)
• Group-invariant max filtering [4.396860522241306]
  我々は$G$-不変実数値関数の族を$V$上に構築し、最大フィルタと呼ぶ。 V=mathbbRd$ と $G$ が有限の場合、適切な最大フィルタバンクは軌道を分離し、商計量においてビリプシッツである。
  論文  参考訳（メタデータ） (2022-05-27T15:18:08Z)
• $p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets [74.37849422071206]
  本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。 p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T10:54:41Z)
• Optimal Online Generalized Linear Regression with Stochastic Noise and Its Application to Heteroscedastic Bandits [88.6139446295537]
  一般化線形モデルの設定におけるオンライン一般化線形回帰の問題について検討する。 ラベルノイズに対処するため、古典的追従正規化リーダ(FTRL)アルゴリズムを鋭く解析する。 本稿では,FTRLに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-28T08:25:26Z)
• A Law of Robustness beyond Isoperimetry [84.33752026418045]
  我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。 次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。 我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
  論文  参考訳（メタデータ） (2022-02-23T16:10:23Z)
• Last iterate convergence of SGD for Least-Squares in the Interpolation regime [19.05750582096579]
  基本最小二乗構成におけるノイズレスモデルについて検討する。 最適予測器が完全に入力に適合すると仮定し、$langletheta_*, phi(X) rangle = Y$, ここで$phi(X)$は無限次元の非線型特徴写像を表す。
  論文  参考訳（メタデータ） (2021-02-05T14:02:20Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。