論文の概要: Federated Neuro-Symbolic Learning

• arxiv url: http://arxiv.org/abs/2308.15324v2
• Date: Mon, 27 May 2024 14:29:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 12:08:44.358768
• Title: Federated Neuro-Symbolic Learning
• Title（参考訳）: フェデレートニューロシンボリック学習
• Authors: Pengwei Xing, Songtao Lu, Han Yu,
• Abstract要約: FL通信媒体として潜伏変数を用いたFedNSL(Federated Neuro-Symbolic Learning framework)を提案する。 FedNSLは、単純で効果的なKullback-Leibler(KL)分散制約によって規則分布を特定し、対処することができる。 合成データと実世界のデータに基づく大規模な実験は、5つの最先端手法と比較して、FedNSLの顕著な優位性を示している。
• 参考スコア（独自算出の注目度）: 39.04545654772026
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neuro-symbolic learning (NSL) models complex symbolic rule patterns into latent variable distributions by neural networks, which reduces rule search space and generates unseen rules to improve downstream task performance. Centralized NSL learning involves directly acquiring data from downstream tasks, which is not feasible for federated learning (FL). To address this limitation, we shift the focus from such a one-to-one interactive neuro-symbolic paradigm to one-to-many Federated Neuro-Symbolic Learning framework (FedNSL) with latent variables as the FL communication medium. Built on the basis of our novel reformulation of the NSL theory, FedNSL is capable of identifying and addressing rule distribution heterogeneity through a simple and effective Kullback-Leibler (KL) divergence constraint on rule distribution applicable under the FL setting. It further theoretically adjusts variational expectation maximization (V-EM) to reduce the rule search space across domains. This is the first incorporation of distribution-coupled bilevel optimization into FL. Extensive experiments based on both synthetic and real-world data demonstrate significant advantages of FedNSL compared to five state-of-the-art methods. It outperforms the best baseline by 17% and 29% in terms of unbalanced average training accuracy and unseen average testing accuracy, respectively.
• Abstract（参考訳）: ニューロシンボリックラーニング(NSL)は、複雑なシンボリック・ルールパターンをニューラルネットワークによって潜在変数分布にモデル化する。 集中型NSL学習は、フェデレーション学習(FL)では実現不可能な下流タスクから直接データを取得する。 この制限に対処するため、我々は1対1の対話型ニューロシンボリックパラダイムから、FL通信媒体として潜伏変数を持つ1対多のFederated Neuro-Symbolic Learning framework(FedNSL)へと焦点を移した。 新たなNSL理論の改定に基づいて構築されたFedNSLは, FL条件下で適用可能な規則分布に対する, 単純かつ効果的なKL分散制約により, 規則分布の不均一性を同定し, 対処することができる。 さらに、変分期待最大化(V-EM)を理論的に調整し、領域間の規則探索空間を縮小する。 これは分布結合二レベル最適化をFLに組み込んだ最初のものである。 合成データと実世界のデータに基づく大規模な実験は、5つの最先端手法と比較して、FedNSLの顕著な優位性を示している。 平均トレーニング精度のバランスの取れていない点と、平均テスト精度の見当たらない点では、それぞれ17%と29%で最高のベースラインを上回ります。

関連論文リスト

• Feature Norm Regularized Federated Learning: Transforming Skewed Distributions into Global Insights [16.039822050613022]
  本研究は,FNR-FLアルゴリズムを紹介する。 FNR-FLは、非I.D.シナリオにおけるモデルの精度と収束を高めるために、クラス平均特徴ノルムを取り入れている。 その結果,FNR-FLの精度は66.24%向上し,トレーニング時間は11.40%低下した。
  論文  参考訳（メタデータ） (2023-12-12T03:09:37Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Neural Tangent Kernel Empowered Federated Learning [35.423391869982694]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに機械学習問題を共同で解決する、プライバシー保護パラダイムである。 本稿では,ニューラルタンジェントカーネル(NTK)フレームワークを応用した新しいFLパラダイムを提案する。 提案手法は,通信ラウンドの回数を桁違いに減らしながら,同じ精度を実現できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:58:58Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• Learning and Generalization in Overparameterized Normalizing Flows [13.074242275886977]
  正規化フロー(NF)は教師なし学習において重要なモデルのクラスである。 既存のNFモデルの大部分を含むNFのクラスでは、過度なパラメトリゼーションがトレーニングを損なうという理論的および実証的な証拠を提供する。 ネットワークが過度にパラメータ化されている場合、最小限の仮定の下で、制約のないNFが妥当なデータ分布を効率的に学習できることを実証する。
  論文  参考訳（メタデータ） (2021-06-19T17:11:42Z)
• Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
  本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。 我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-06-03T00:02:05Z)
• FL-NTK: A Neural Tangent Kernel-based Framework for Federated Learning Convergence Analysis [27.022551495550676]
  本稿では,FLの勾配降下によって訓練された過減化ReLUニューラルネットワークに対応するFL-NTK(Learning Neural Kernel)について,新しい収束解析法を提案する。 理論的には、FL-NTKは線形学習パラメータを適切に調整した自明な速度で大域最適解に収束する。
  論文  参考訳（メタデータ） (2021-05-11T13:05:53Z)
• NSL: Hybrid Interpretable Learning From Noisy Raw Data [66.15862011405882]
  本稿では,ラベル付き非構造データから解釈可能なルールを学習するニューラルシンボリック学習フレームワークNSLを提案する。 NSLは、機能抽出のためのトレーニング済みニューラルネットワークと、解集合セマンティクスに基づくルール学習のための最先端のILPシステムであるFastLASを組み合わせる。 NSLは、MNISTデータから堅牢なルールを学び、ニューラルネットワークやランダムフォレストベースラインと比較して、比較または優れた精度を達成できることを実証します。
  論文  参考訳（メタデータ） (2020-12-09T13:02:44Z)
• Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
  量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。 上記のプロパティをすべて享受する既存のメソッドはありません。 本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
  論文  参考訳（メタデータ） (2020-02-25T15:12:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。