論文の概要: A Unified Analysis of Multi-task Functional Linear Regression Models
with Manifold Constraint and Composite Quadratic Penalty
- arxiv url: http://arxiv.org/abs/2211.04874v2
- Date: Tue, 1 Aug 2023 01:54:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-02 18:18:35.813547
- Title: A Unified Analysis of Multi-task Functional Linear Regression Models
with Manifold Constraint and Composite Quadratic Penalty
- Title（参考訳）: Manifold Constraint と Composite Quadratic Penalty を用いたマルチタスク機能線形回帰モデルの統一解析
- Authors: Shiyuan He, Hanxuan Ye, Kejun He
- Abstract要約: マルチタスク学習のパワーは、傾斜関数に付加的な構造を課すことによってもたらされる。
合成ペナルティは、多様体曲率の定量化に役立つ特定のノルムを誘導することを示す。
縮小ランクモデルとグラフラプラシア正規化モデルに統一収束上限を求め、特に適用する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This work studies the multi-task functional linear regression models where
both the covariates and the unknown regression coefficients (called slope
functions) are curves. For slope function estimation, we employ penalized
splines to balance bias, variance, and computational complexity. The power of
multi-task learning is brought in by imposing additional structures over the
slope functions. We propose a general model with double regularization over the
spline coefficient matrix: i) a matrix manifold constraint, and ii) a composite
penalty as a summation of quadratic terms. Many multi-task learning approaches
can be treated as special cases of this proposed model, such as a reduced-rank
model and a graph Laplacian regularized model. We show the composite penalty
induces a specific norm, which helps to quantify the manifold curvature and
determine the corresponding proper subset in the manifold tangent space. The
complexity of tangent space subset is then bridged to the complexity of
geodesic neighbor via generic chaining. A unified convergence upper bound is
obtained and specifically applied to the reduced-rank model and the graph
Laplacian regularized model. The phase transition behaviors for the estimators
are examined as we vary the configurations of model parameters.
- Abstract（参考訳）: この研究は、共変量と未知回帰係数(傾き関数と呼ばれる)の両方が曲線であるマルチタスク関数線形回帰モデルを研究する。
傾斜関数の推定には, バイアス, 分散, 計算複雑性のバランスをとるためにペナルテッドスプラインを用いる。
マルチタスク学習のパワーは、傾斜関数に付加的な構造を課すことによってもたらされる。
スプライン係数行列上の二重正則化をもつ一般モデルを提案する。
一 行列多様体の制約、及び
二 第二項の合計としての複合ペナルティ
多くのマルチタスク学習アプローチは、縮小ランクモデルやグラフラプラシア正規化モデルなど、提案モデルの特別なケースとして扱うことができる。
複合ペナルティは、多様体曲率を定量化し、多様体接空間内の対応する固有部分集合を決定するのに役立つ特定のノルムを誘導する。
接空間部分集合の複雑さは、ジェネリック連鎖を通じて測地線近傍の複雑さにブリッジされる。
縮小ランクモデルとグラフラプラシアン正則化モデルに対して、統一収束上限が得られ、特に適用される。
モデルパラメータの設定が異なるため, 推定器の位相遷移挙動について検討する。
関連論文リスト
- Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - A U-turn on Double Descent: Rethinking Parameter Counting in Statistical
Learning [68.76846801719095]
二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。
これは二重降下と統計的直観の間の緊張を解消する。
論文 参考訳（メタデータ） (2023-10-29T12:05:39Z) - Gradient flow in the gaussian covariate model: exact solution of
learning curves and multiple descent structures [14.578025146641806]
一般化曲線の全時間進化を完全かつ統一的に解析する。
この理論予測は,現実的なデータセットよりも勾配降下によって得られる学習曲線と適切に一致していることを示す。
論文 参考訳（メタデータ） (2022-12-13T17:39:18Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳（メタデータ） (2022-10-21T13:19:45Z) - Monotonic Risk Relationships under Distribution Shifts for Regularized
Risk Minimization [24.970274256061376]
機械学習システムは、トレーニング分布とは異なる分布から引き出されたデータに適用されることが多い。
近年の研究では,様々な分類問題や信号再構成問題に対して,アウト・オブ・ディストリビューション性能がイン・ディストリビューション性能と強く線形に相関していることが示されている。
論文 参考訳（メタデータ） (2022-10-20T21:01:14Z) - Decentralized Feature-Distributed Optimization for Generalized Linear
Models [19.800898945436384]
一般化線形モデルに対する「オール・フォー・ワン」分散学習問題を考える。
各サンプルの特徴は、ネットワーク内の複数の協調エージェントに分割されるが、応答変数を観察するエージェントは1つだけである。
問題の等価なサドル点定式化にシャンブル-ポック原始-双対アルゴリズムを適用する。
論文 参考訳（メタデータ） (2021-10-28T16:42:47Z) - A non-asymptotic model selection in block-diagonal mixture of polynomial
experts models [1.491109220586182]
回帰モデルの未知条件密度を推定するために, ペナル化最大選択基準を導入する。
我々は、Jensen-Kullback-Leibler型損失によるペナル化極大確率で満たされる有限サンプルオラクルを含む強力な理論的保証を提供する。
論文 参考訳（メタデータ） (2021-04-18T21:32:20Z) - Bilinear Classes: A Structural Framework for Provable Generalization in
RL [119.42509700822484]
Bilinear Classesは強化学習の一般化を可能にする新しい構造フレームワークである。
このフレームワークは、サンプルの複雑さが達成可能な、ほとんどすべての既存のモデルを取り込んでいる。
我々の主な成果は、双線形クラスのためのサンプル複雑性を持つRLアルゴリズムである。
論文 参考訳（メタデータ） (2021-03-19T16:34:20Z) - Estimation of Switched Markov Polynomial NARX models [75.91002178647165]
非線形自己回帰(NARX)成分を特徴とするハイブリッド力学系のモデル群を同定する。
提案手法は, 特定の回帰器を持つ3つの非線形サブモデルからなるSMNARX問題に対して実証される。
論文 参考訳（メタデータ） (2020-09-29T15:00:47Z) - Generalisation error in learning with random features and the hidden
manifold model [23.71637173968353]
合成データセットの一般線形回帰と分類について検討した。
我々は,高次元構造を考察し,統計物理学からのレプリカ法を用いる。
閾値をピークとしたロジスティック回帰のためのいわゆる二重降下挙動を得る方法を示す。
隠れ多様体モデルにより生成されたデータにおいて相関関係が果たす役割について論じる。
論文 参考訳（メタデータ） (2020-02-21T14:49:41Z) - Adaptive Correlated Monte Carlo for Contextual Categorical Sequence
Generation [77.7420231319632]
我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。
また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
論文 参考訳（メタデータ） (2019-12-31T03:01:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。