Fugu-MT 論文翻訳(概要): Structure Learning with Adaptive Random Neighborhood Informed MCMC

論文の概要: Structure Learning with Adaptive Random Neighborhood Informed MCMC

arxiv url: http://arxiv.org/abs/2311.00599v1
Date: Wed, 1 Nov 2023 15:47:18 GMT
ステータス: 処理完了
システム内更新日: 2023-11-02 13:20:08.132862
Title: Structure Learning with Adaptive Random Neighborhood Informed MCMC
Title（参考訳）: 適応ランダム近傍情報MCMCによる構造学習
Authors: Alberto Caron, Xitong Liang, Samuel Livingstone and Jim Griffin
Abstract要約: 観測データに基づく構造学習の課題に対して,新しいMCMCサンプルであるPARNI-DAGを導入する。因果補充性の仮定の下で、このアルゴリズムは方向非巡回グラフ(DAG)の後方分布から直接近似的なサンプリングを行うことができる。種々の実験でDAG構造を学習する際の混合効率と精度を実証的に実証した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we introduce a novel MCMC sampler, PARNI-DAG, for a fully-Bayesian approach to the problem of structure learning under observational data. Under the assumption of causal sufficiency, the algorithm allows for approximate sampling directly from the posterior distribution on Directed Acyclic Graphs (DAGs). PARNI-DAG performs efficient sampling of DAGs via locally informed, adaptive random neighborhood proposal that results in better mixing properties. In addition, to ensure better scalability with the number of nodes, we couple PARNI-DAG with a pre-tuning procedure of the sampler's parameters that exploits a skeleton graph derived through some constraint-based or scoring-based algorithms. Thanks to these novel features, PARNI-DAG quickly converges to high-probability regions and is less likely to get stuck in local modes in the presence of high correlation between nodes in high-dimensional settings. After introducing the technical novelties in PARNI-DAG, we empirically demonstrate its mixing efficiency and accuracy in learning DAG structures on a variety of experiments.
Abstract（参考訳）: 本稿では,観測データに基づく構造学習問題に対する完全ベイズ的アプローチとして,新しいMCMCサンプルであるPARNI-DAGを提案する。因果補充性の仮定の下で、アルゴリズムは方向非巡回グラフ(DAG)の後方分布から直接近似的なサンプリングを行うことができる。 PARNI-DAGは、局所的に情報を得た適応ランダムな近傍提案を通じてDAGの効率的なサンプリングを行う。さらに,ノード数でのスケーラビリティ向上を図るため,いくつかの制約に基づくアルゴリズムやスコアリングに基づくスケルトングラフを利用するサンプルパラメータの事前調整手順とPARNI-DAGを結合する。これらの新機能のおかげで、parni-dagは高速に高確率領域に収束し、高次元の設定でノード間の高い相関がある場合、ローカルモードに定着しにくくなる。 PARNI-DAGで技術革新を導入した後、様々な実験でDAG構造を学習する際の混合効率と精度を実証的に実証した。

関連論文リスト

Stability and Generalization for Distributed SGDA [70.97400503482353]
分散SGDAのための安定性に基づく一般化分析フレームワークを提案する。我々は, 安定性の誤差, 一般化ギャップ, 人口リスクの包括的分析を行う。理論的結果から,一般化ギャップと最適化誤差のトレードオフが明らかになった。
論文参考訳（メタデータ） (2024-11-14T11:16:32Z)
Locally Regularized Sparse Graph by Fast Proximal Gradient Descent [6.882546996728011]
本稿では,SRSG を短縮した新しい正規化スパースグラフを提案する。スパースグラフは高次元データのクラスタリングに有効であることが示されている。 SRSGは他のクラスタリング手法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-09-25T16:57:47Z)
The Limits and Potentials of Local SGD for Distributed Heterogeneous Learning with Intermittent Communication [37.210933391984014]
ローカルSGDは分散学習において一般的な最適化手法であり、実際には他のアルゴリズムよりも優れていることが多い。我々は、既存の一階データ不均一性仮定の下で、局所的なSGDに対して新しい下界を提供する。また、いくつかの問題クラスに対して、高速化されたミニバッチSGDの min-max 最適性を示す。
論文参考訳（メタデータ） (2024-05-19T20:20:03Z)
Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
論文参考訳（メタデータ） (2024-03-05T17:49:09Z)
Tackling Data Heterogeneity: A New Unified Framework for Decentralized SGD with Sample-induced Topology [6.6682038218782065]
我々は,経験的リスク最小化問題に対して,勾配に基づく最適化手法を統一する汎用フレームワークを開発した。本稿では,SAGA,Local-SVRG,GT-SAGAなどの分散還元(VR)および勾配追跡(GT)手法の統一的な視点を提供する。その結果、VRとGTの手法は、それぞれデバイス内およびデバイス間のデータを効果的に排除し、アルゴリズムを最適解に正確に収束させることができることがわかった。
論文参考訳（メタデータ） (2022-07-08T07:50:08Z)
Federated Minimax Optimization: Improved Convergence Analyses and Algorithms [32.062312674333775]
我々は、最小限の最適化を考慮し、GANのようなモダンな機械学習アプリケーションの多くを普及させています。我々は,既存の文献における収束通信の保証を改善する,新しい,より厳密な解析アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-03-09T16:21:31Z)
Bayesian Structure Learning with Generative Flow Networks [85.84396514570373]
ベイズ構造学習では、データから有向非巡回グラフ(DAG)上の分布を推定することに興味がある。近年,ジェネレーティブ・フロー・ネットワーク(GFlowNets)と呼ばれる確率モデルのクラスが,ジェネレーティブ・モデリングの一般的なフレームワークとして紹介されている。 DAG-GFlowNetと呼ばれる本手法は,DAGよりも後方の正確な近似を提供する。
論文参考訳（メタデータ） (2022-02-28T15:53:10Z)
Harnessing Heterogeneity: Learning from Decomposed Feedback in Bayesian Modeling [68.69431580852535]
サブグループフィードバックを取り入れた新しいGPレグレッションを導入する。我々の修正された回帰は、以前のアプローチと比べて、明らかにばらつきを減らし、したがってより正確な後続を減らした。我々は2つの異なる社会問題に対してアルゴリズムを実行する。
論文参考訳（メタデータ） (2021-07-07T03:57:22Z)
Cyclic Label Propagation for Graph Semi-supervised Learning [52.102251202186025]
本稿では,CycPropと呼ばれるグラフ半教師付き学習のための新しいフレームワークを提案する。 CycPropはGNNを周期的かつ相互に強化された方法でラベル伝播の過程に統合する。特に,提案するCycPropでは,GNNモジュールが学習したノード埋め込みをラベル伝搬による拡張情報で更新する。
論文参考訳（メタデータ） (2020-11-24T02:55:40Z)
MG-GCN: Fast and Effective Learning with Mix-grained Aggregators for Training Large Graph Convolutional Networks [20.07942308916373]
グラフ畳み込みネットワーク(GCN)は、隣人層の情報を層ごとに集約することでノードの埋め込みを生成する。 GCNの高計算とメモリコストにより、大きなグラフのトレーニングが不可能になる。 MG-GCNと呼ばれる新しいモデルでは、精度、トレーニング速度、収束速度、メモリコストの点で最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2020-11-17T14:51:57Z)
Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
論文参考訳（メタデータ） (2020-06-07T07:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。