論文の概要: Learning Stochastic Graph Neural Networks with Constrained Variance

• arxiv url: http://arxiv.org/abs/2201.12611v1
• Date: Sat, 29 Jan 2022 15:55:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 18:27:10.755472
• Title: Learning Stochastic Graph Neural Networks with Constrained Variance
• Title（参考訳）: 制約変数を用いた確率グラフニューラルネットワークの学習
• Authors: Zhan Gao and Elvin Isufi
• Abstract要約: グラフニューラルネットワーク(Graph Neural Network, SGNN)は、ランダムグラフ上のデータから表現を学習する情報処理アーキテクチャである。 本稿では,SGNNに対する分散制約付き最適化問題を提案し,予測性能と偏差のバランスをとる。 降下したSGNNパラメータと昇降した双対変数を更新することで問題を解く。
• 参考スコア（独自算出の注目度）: 18.32587282139282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic graph neural networks (SGNNs) are information processing architectures that learn representations from data over random graphs. SGNNs are trained with respect to the expected performance, which comes with no guarantee about deviations of particular output realizations around the optimal expectation. To overcome this issue, we propose a variance-constrained optimization problem for SGNNs, balancing the expected performance and the stochastic deviation. An alternating primal-dual learning procedure is undertaken that solves the problem by updating the SGNN parameters with gradient descent and the dual variable with gradient ascent. To characterize the explicit effect of the variance-constrained learning, we conduct a theoretical analysis on the variance of the SGNN output and identify a trade-off between the stochastic robustness and the discrimination power. We further analyze the duality gap of the variance-constrained optimization problem and the converging behavior of the primal-dual learning procedure. The former indicates the optimality loss induced by the dual transformation and the latter characterizes the limiting error of the iterative algorithm, both of which guarantee the performance of the variance-constrained learning. Through numerical simulations, we corroborate our theoretical findings and observe a strong expected performance with a controllable standard deviation.
• Abstract（参考訳）: 確率グラフニューラルネットワーク(SGNN)は、ランダムグラフ上のデータから表現を学習する情報処理アーキテクチャである。 SGNNは、期待性能に関してトレーニングされており、最適な期待値に関する特定の出力実現の偏差に関する保証はない。 そこで本研究では,SGNNに対する分散制約付き最適化問題を提案し,予測性能と確率偏差のバランスをとる。 sgnnパラメータを勾配降下で更新し,2変数を勾配上昇で更新することにより,交互に予備学習を行う。 分散制約学習の明示的な効果を特徴付けるため,SGNN出力の分散に関する理論的解析を行い,確率的頑健性と識別力とのトレードオフを同定する。 さらに,分散制約最適化問題の双対性ギャップと,初等二元学習手順の収束挙動を解析した。 前者は双対変換によって誘導される最適性損失を示し、後者は反復アルゴリズムの制限誤差を特徴付け、どちらも分散制約学習の性能を保証する。 数値シミュレーションにより,理論的な結果の相関と,制御可能な標準偏差による期待性能の観測を行った。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• On the Convergence Analysis of Over-Parameterized Variational Autoencoders: A Neural Tangent Kernel Perspective [7.580900499231056]
  変分自動エンコーダ(VAE)は、生成タスクの強力な確率モデルとして登場した。 本稿では, 軽微な仮定の下でのVAEの数学的証明について述べる。 また、過剰に最適化されたSNNが直面する最適化問題と、カーネルリッジ(KRR)問題との新たな接続を確立する。
  論文  参考訳（メタデータ） (2024-09-09T06:10:31Z)
• Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks [3.680127959836384]
  暗黙の勾配降下(IGD)は、ある種のマルチスケール問題を扱う場合、共通勾配降下(GD)よりも優れる。 IGDは線形収束速度で大域的に最適解を収束することを示す。
  論文  参考訳（メタデータ） (2024-07-03T06:10:41Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Analysis of Catastrophic Forgetting for Random Orthogonal Transformation Tasks in the Overparameterized Regime [9.184987303791292]
  可変MNIST画像分類タスクでは,バニラ勾配降下により訓練された多層パーセプトロンの性能を向上させることができることを示す。 定性的に類似した2タスク線形回帰問題を研究することによって、この効果を理論的に説明する。 モデルが追加の正規化なしで連続的に2つのタスクで訓練された場合、最初のタスクのリスクゲインは小さくなることを示す。
  論文  参考訳（メタデータ） (2022-06-01T18:04:33Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Accurate and Reliable Forecasting using Stochastic Differential Equations [48.21369419647511]
  ディープラーニングモデルにとって、現実世界の環境に浸透する不確実性を適切に特徴付けることは、非常に困難である。 本論文では,HNNの予測平均と分散の相互作用を特徴づけるSDE-HNNを開発した。 本手法は,予測性能と不確実性定量化の両方の観点から,最先端のベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-03-28T04:18:11Z)
• A Lagrangian Dual-based Theory-guided Deep Neural Network [0.0]
  The Lagrangian dual-based TgNN (TgNN-LD) is proposed to improve the effective of TgNN。 実験により、ラグランジアン双対ベースTgNNの優位性が示された。
  論文  参考訳（メタデータ） (2020-08-24T02:06:19Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。