論文の概要: Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees

• arxiv url: http://arxiv.org/abs/2003.01013v1
• Date: Mon, 2 Mar 2020 16:40:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 04:31:02.009789
• Title: Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees
• Title（参考訳）: 証明可能な保証による半パラメトリック非線形2部グラフ表現学習
• Authors: Sen Na, Yuwei Luo, Zhuoran Yang, Zhaoran Wang, Mladen Kolar
• Abstract要約: 半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
• 参考スコア（独自算出の注目度）: 106.91654068632882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph representation learning is a ubiquitous task in machine learning where the goal is to embed each vertex into a low-dimensional vector space. We consider the bipartite graph and formalize its representation learning problem as a statistical estimation problem of parameters in a semiparametric exponential family distribution. The bipartite graph is assumed to be generated by a semiparametric exponential family distribution, whose parametric component is given by the proximity of outputs of two one-layer neural networks, while nonparametric (nuisance) component is the base measure. Neural networks take high-dimensional features as inputs and output embedding vectors. In this setting, the representation learning problem is equivalent to recovering the weight matrices. The main challenges of estimation arise from the nonlinearity of activation functions and the nonparametric nuisance component of the distribution. To overcome these challenges, we propose a pseudo-likelihood objective based on the rank-order decomposition technique and focus on its local geometry. We show that the proposed objective is strongly convex in a neighborhood around the ground truth, so that a gradient descent-based method achieves linear convergence rate. Moreover, we prove that the sample complexity of the problem is linear in dimensions (up to logarithmic factors), which is consistent with parametric Gaussian models. However, our estimator is robust to any model misspecification within the exponential family, which is validated in extensive experiments.
• Abstract（参考訳）: グラフ表現学習は機械学習においてユビキタスなタスクであり、各頂点を低次元ベクトル空間に埋め込むことが目的である。 半パラメトリック指数族分布におけるパラメータの統計的推定問題として両部グラフを考察し,その表現学習問題を定式化する。 二部グラフは半パラメトリック指数族分布によって生成され、そのパラメトリック成分は2つの1層ニューラルネットワークの出力の近接によって与えられるが、非パラメトリック(ノイサンス)成分は基底測度である。 ニューラルネットワークは、入力および出力埋め込みベクトルとして高次元の特徴を取る。 この設定では、表現学習問題は重み行列の回復と等価である。 推定の主な課題は、活性化関数の非線形性と分布の非パラメトリックニュアンス成分から生じる。 これらの課題を克服するために,ランク次分解手法に基づく擬似類似目的を提案し,その局所幾何学に着目する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 さらに、この問題のサンプル複雑性は、パラメトリックガウスモデルと一致する次元(対数因子まで)において線形であることが証明される。 しかしながら、我々の推定値は指数関数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証される。

関連論文リスト

• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• Implicit Balancing and Regularization: Generalization and Convergence Guarantees for Overparameterized Asymmetric Matrix Sensing [28.77440901439686]
  最近の一連の論文は、非ランダムな正準決定(PSD)行列センシング問題に対して、この役割を一般化し始めている。 本稿では,小さなランダムな測定から得られる勾配降下の軌跡が,どちらも地球規模で良好である解へと移動することを示す。
  論文  参考訳（メタデータ） (2023-03-24T19:05:52Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Low-Rank Covariance Completion for Graph Quilting with Applications to Functional Connectivity [8.500141848121782]
  多くのカルシウムイメージングデータセットでは、ニューロンの全個体数は同時に記録されるのではなく、部分的に重なるブロックに記録される。 本稿では、まず、低ランクココンプリートを用いた原子核構造行列を暗示するグラフ量子化法について述べる。 カルシウムイメージングデータから接続性を推定するためのこれらの手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-09-17T08:03:46Z)
• Error-Correcting Neural Networks for Two-Dimensional Curvature Computation in the Level-Set Method [0.0]
  本稿では,2次元曲率をレベルセット法で近似するための誤差ニューラルモデルに基づく手法を提案する。 我々の主な貢献は、需要に応じて機械学習操作を可能にする数値スキームに依存する、再設計されたハイブリッド・ソルバである。
  論文  参考訳（メタデータ） (2022-01-22T05:14:40Z)
• Minimax Estimation of Linear Functions of Eigenvectors in the Face of Small Eigen-Gaps [95.62172085878132]
  固有ベクトル摂動解析は様々な統計データ科学の応用において重要な役割を果たす。 未知の固有ベクトルの任意の線型関数の摂動を特徴付ける統計理論の一組を開発する。 自然の「プラグイン」推定器に固有の非無視バイアス問題を緩和するために,非バイアス推定器を開発する。
  論文  参考訳（メタデータ） (2021-04-07T17:55:10Z)
• Scaling Graph Clustering with Distributed Sketches [1.1011268090482575]
  スペクトルクラスタリングにインスパイアされた手法として,ランダムな次元還元プロジェクションから得られた行列スケッチを用いる。 提案手法は,完全に動的なブロックモデルストリームが与えられた場合,性能の高いクラスタリング結果が得られる埋め込みを生成する。 また、ブロックモデルパラメータがその後の埋め込みの必要次元に与える影響についても検討し、ランダムなプロジェクションが分散メモリにおけるグラフクラスタリングの性能を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2020-07-24T17:38:04Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。