論文の概要: Nonparametric Trace Regression in High Dimensions via Sign Series
Representation
- arxiv url: http://arxiv.org/abs/2105.01783v1
- Date: Tue, 4 May 2021 22:20:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-06 12:51:46.862160
- Title: Nonparametric Trace Regression in High Dimensions via Sign Series
Representation
- Title（参考訳）: 符号列表現による高次元の非パラメトリックトレース回帰
- Authors: Chanwoo Lee, Lexin Li, Hao Helen Zhang, and Miaoyan Wang
- Abstract要約: 高次元関数の構造的符号系列表現による非パラメトリックトレース回帰モデルのためのフレームワークを開発する。
行列完備化の文脈において、我々のフレームワークは、行列の「符号ランク」と呼ばれるものに基づいて、かなりリッチなモデルへと導かれる。
- 参考スコア（独自算出の注目度）: 13.37650464374017
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning of matrix-valued data has recently surged in a range of scientific
and business applications. Trace regression is a widely used method to model
effects of matrix predictors and has shown great success in matrix learning.
However, nearly all existing trace regression solutions rely on two
assumptions: (i) a known functional form of the conditional mean, and (ii) a
global low-rank structure in the entire range of the regression function, both
of which may be violated in practice. In this article, we relax these
assumptions by developing a general framework for nonparametric trace
regression models via structured sign series representations of high
dimensional functions. The new model embraces both linear and nonlinear trace
effects, and enjoys rank invariance to order-preserving transformations of the
response. In the context of matrix completion, our framework leads to a
substantially richer model based on what we coin as the "sign rank" of a
matrix. We show that the sign series can be statistically characterized by
weighted classification tasks. Based on this connection, we propose a learning
reduction approach to learn the regression model via a series of classifiers,
and develop a parallelable computation algorithm to implement sign series
aggregations. We establish the excess risk bounds, estimation error rates, and
sample complexities. Our proposal provides a broad nonparametric paradigm to
many important matrix learning problems, including matrix regression, matrix
completion, multi-task learning, and compressed sensing. We demonstrate the
advantages of our method through simulations and two applications, one on brain
connectivity study and the other on high-rank image completion.
- Abstract（参考訳）: 行列値データの学習は最近、科学とビジネスのさまざまな応用で急増している。
トレース回帰は行列予測器の効果をモデル化するために広く用いられている手法であり、行列学習において大きな成功を収めている。
しかし、既存のほとんど全てのトレース回帰解は、2つの仮定に依存している: (i) 条件付き平均の既知の機能形式、および (ii) 回帰関数の全範囲における大域的な低ランク構造であり、どちらも実際に違反する可能性がある。
本稿では,高次元関数の構造的符号列表現による非パラメトリックトレース回帰モデルのための汎用フレームワークの開発により,これらの仮定を緩和する。
新しいモデルは、線形および非線形トレース効果の両方を受け入れ、応答の順序保存変換に対するランク不変性を楽しむ。
行列完備化の文脈において、我々のフレームワークは、行列の「符号ランク」と呼ばれるものに基づいて、かなりリッチなモデルをもたらす。
記号列は, 重み付き分類タスクによって統計的に特徴付けられることを示す。
そこで本研究では,一連の分類器を用いて回帰モデルを学習するための学習削減手法を提案し,符号列アグリゲーションを実装する並列計算アルゴリズムを開発した。
過大なリスク境界,推定誤差率,サンプル複雑度を確立する。
提案手法は,行列回帰,行列補完,マルチタスク学習,圧縮センシングなど,多くの重要な行列学習問題に対して広く非パラメトリックなパラダイムを提供する。
本手法の利点をシミュレーションと2つの応用により実証し,1つは脳接続研究,もう1つは高次画像補完について述べる。
関連論文リスト
- Meta-Learning with Generalized Ridge Regression: High-dimensional Asymptotics, Optimality and Hyper-covariance Estimation [14.194212772887699]
本研究では,高次元ランダム効果線形モデルの枠組みにおけるメタラーニングについて考察する。
本研究では,データ次元がタスク毎のサンプル数に比例して大きくなる場合に,新しいテストタスクに対する予測リスクの正確な振る舞いを示す。
トレーニングタスクのデータに基づいて,逆回帰係数を推定する手法を提案し,解析する。
論文 参考訳（メタデータ） (2024-03-27T21:18:43Z) - The Decimation Scheme for Symmetric Matrix Factorization [0.0]
行列分解(Matrix factorization)は、その広範囲な応用により重要になった推論問題である。
我々はこの広範囲なランク問題について研究し、最近導入した代替の「決定」手順を拡張した。
本稿では,デシメーションを実装し,行列分解を行う基底状態探索に基づく簡単なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-07-31T10:53:45Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳（メタデータ） (2022-10-21T13:19:45Z) - Graph Polynomial Convolution Models for Node Classification of
Non-Homophilous Graphs [52.52570805621925]
本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。
得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。
提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
論文 参考訳（メタデータ） (2022-09-12T04:46:55Z) - Robust Regularized Low-Rank Matrix Models for Regression and
Classification [14.698622796774634]
本稿では,ランク制約,ベクトル正規化(疎性など),一般損失関数に基づく行列変分回帰モデルのフレームワークを提案する。
アルゴリズムは収束することが保証されており、アルゴリズムのすべての累積点が$O(sqrtn)$100の順序で推定誤差を持ち、最小値の精度をほぼ達成していることを示す。
論文 参考訳（メタデータ） (2022-05-14T18:03:48Z) - Deep Learning Approach for Matrix Completion Using Manifold Learning [3.04585143845864]
本論文では,線形モデルと非線形モデルを組み合わせたデータ行列の新しい潜在変数モデルを提案する。
データマトリクスのエントリ間の線形および非線形関係の両方に対処するために、新しいディープニューラルネットワークベースの行列補完アルゴリズムを設計します。
論文 参考訳（メタデータ） (2020-12-11T01:01:54Z) - Learning Mixtures of Low-Rank Models [89.39877968115833]
低ランクモデルの計算混合を学習する問題について検討する。
ほぼ最適サンプルを用いて未知の行列を復元することが保証されるアルゴリズムを開発する。
さらに,提案アルゴリズムはランダムノイズに対して確実に安定である。
論文 参考訳（メタデータ） (2020-09-23T17:53:48Z) - Partial Trace Regression and Low-Rank Kraus Decomposition [9.292155894591874]
行列値入力から行列値出力への線形写像の族である部分トレース回帰モデルを導入する。
完全正の写像の低ランククラス表現を利用してデータから部分的トレース回帰モデルを学習するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T07:21:22Z) - FLAMBE: Structural Complexity and Representation Learning of Low Rank
MDPs [53.710405006523274]
この研究は、表現学習の問題に焦点を当てている。
基礎となる(未知の)力学が低階遷移行列に対応するという仮定の下で、表現学習問題と特定の非線形行列分解問題との関連性を示す。
低階遷移モデルにおけるRLの探索と表現学習を行うFLAMBEを開発した。
論文 参考訳（メタデータ） (2020-06-18T19:11:18Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳（メタデータ） (2020-03-02T16:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。