論文の概要: Learning nonparametric DAGs with incremental information via high-order HSIC

• arxiv url: http://arxiv.org/abs/2308.05969v2
• Date: Thu, 14 Sep 2023 08:42:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 18:29:02.317317
• Title: Learning nonparametric DAGs with incremental information via high-order HSIC
• Title（参考訳）: 高次HSICを用いたインクリメンタル情報を用いた非パラメトリックDAGの学習
• Authors: Yafei Wang, Jianguo Liu
• Abstract要約: そこで本研究では,DAGを同定するために,親の判断したサブセットに基づく識別可能性条件を提案する。 最適相では、一階のヒルベルト最適独立基準(HSIC)に基づく最適化問題により、推定骨格が初期決定された親部分集合として与えられる。 チューニングフェーズでは、骨格は削除、追加、DAG形式化戦略によって局所的に調整される。
• 参考スコア（独自算出の注目度）: 13.061477915002767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Score-based methods for learning Bayesain networks(BN) aim to maximizing the global score functions. However, if local variables have direct and indirect dependence simultaneously, the global optimization on score functions misses edges between variables with indirect dependent relationship, of which scores are smaller than those with direct dependent relationship. In this paper, we present an identifiability condition based on a determined subset of parents to identify the underlying DAG. By the identifiability condition, we develop a two-phase algorithm namely optimal-tuning (OT) algorithm to locally amend the global optimization. In the optimal phase, an optimization problem based on first-order Hilbert-Schmidt independence criterion (HSIC) gives an estimated skeleton as the initial determined parents subset. In the tuning phase, the skeleton is locally tuned by deletion, addition and DAG-formalization strategies using the theoretically proved incremental properties of high-order HSIC. Numerical experiments for different synthetic datasets and real-world datasets show that the OT algorithm outperforms existing methods. Especially in Sigmoid Mix model with the size of the graph being ${\rm\bf d=40}$, the structure intervention distance (SID) of the OT algorithm is 329.7 smaller than the one obtained by CAM, which indicates that the graph estimated by the OT algorithm misses fewer edges compared with CAM.Source code of the OT algorithm is available at https://github.com/YafeiannWang/optimal-tune-algorithm.
• Abstract（参考訳）: ベイズサインネットワーク(bn)学習のためのスコアベース手法は、グローバルスコア関数を最大化することを目的としている。 しかし、局所変数が直接依存と間接依存を同時に持つ場合、スコア関数のグローバル最適化は間接依存関係を持つ変数間のエッジを見逃し、そのスコアは直接依存関係を持つ変数よりも小さい。 本稿では,DAGを同定するために,親の判断したサブセットに基づく識別可能性条件を提案する。 同定可能性条件により、グローバル最適化を局所的に修正する2相アルゴリズム、すなわち最適チューニング(OT)アルゴリズムを開発する。 最適位相において、一階ヒルベルト・シュミット独立基準(hsic)に基づく最適化問題は、初期決定親部分集合として推定骨格を与える。 チューニングフェーズでは、高次HSICの理論的に証明されたインクリメンタル特性を用いて、骨格は削除、追加、DAG形式化戦略によって局所的に調整される。 異なる合成データセットと実世界のデータセットの数値実験は、OTアルゴリズムが既存の手法より優れていることを示している。 特に、グラフのサイズが${\rm\bf d=40}$のsgmoid mixモデルでは、otアルゴリズムの構造介入距離(sid)がcamによって得られるものより329.7小さいため、otアルゴリズムで推定されるグラフはcamよりもエッジが小さいことを示している。

関連論文リスト

• Optimality of Message-Passing Architectures for Sparse Graphs [13.96547777184641]
  スパース設定における特徴デコレーショングラフ上のノード分類問題、すなわちノードの期待次数がノード数で$O(1)$である場合について検討する。 局所ベイズ最適性(英語版)と呼ばれるノード分類タスクに対するベイズ最適性(英語版)の概念を導入する。 最適なメッセージパッシングアーキテクチャは,低グラフ信号のレギュレーションにおける標準と高グラフ信号のレギュレーションにおける典型とを補間することを示す。
  論文  参考訳（メタデータ） (2023-05-17T17:31:20Z)
• An Algebraically Converging Stochastic Gradient Descent Algorithm for Global Optimization [14.336473214524663]
  アルゴリズムの主要な構成要素は、目的関数の値に基づくランダム性である。 アルゴリズムの収束を代数学で証明し、パラメータ空間でチューニングする。 アルゴリズムの効率性とロバスト性を示す数値的な例をいくつか提示する。
  論文  参考訳（メタデータ） (2022-04-12T16:27:49Z)
• Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
  ローカル手法は通信時間を短縮する有望なアプローチの1つである。 局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-12T15:12:17Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• The Minimax Complexity of Distributed Optimization [0.0]
  分散最適化に適用可能な古典的なオラクルフレームワークの拡張である「グラフオラクルモデル」を紹介します。 私は「間欠的コミュニケーション設定」の具体例に焦点をあてる コンベックス設定におけるSGD(Local Descent)アルゴリズムの理論的特性を解析する。
  論文  参考訳（メタデータ） (2021-09-01T15:18:33Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)
• Convergence of Online Adaptive and Recurrent Optimization Algorithms [0.0]
  我々は、機械学習で使用されるいくつかの顕著な降下アルゴリズムの局所収束を証明した。 我々は確率的視点ではなく「エルゴディック」を採用し、確率分布の代わりに経験的な時間平均で作業する。
  論文  参考訳（メタデータ） (2020-05-12T09:48:52Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。