論文の概要: Holonic Learning: A Flexible Agent-based Distributed Machine Learning Framework

• arxiv url: http://arxiv.org/abs/2401.10839v1
• Date: Fri, 29 Dec 2023 12:03:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-28 16:06:33.069283
• Title: Holonic Learning: A Flexible Agent-based Distributed Machine Learning Framework
• Title（参考訳）: Holonic Learning: 柔軟なエージェントベースの分散機械学習フレームワーク
• Authors: Ahmad Esmaeili, Zahra Ghorrati, Eric T. Matson
• Abstract要約: Holonic Learning(HoL)は、ディープラーニングモデルのトレーニング用に設計された、協調的でプライバシを重視した学習フレームワークである。 ホロニックの概念を活用することで、HoLフレームワークは学習プロセスにおいて構造化された自己相似階層を確立する。 本稿では, すべてのホロンのモデルアグリゲーションに重み付け平均化を用いるHoloAvgを実装した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ever-increasing ubiquity of data and computational resources in the last decade have propelled a notable transition in the machine learning paradigm towards more distributed approaches. Such a transition seeks to not only tackle the scalability and resource distribution challenges but also to address pressing privacy and security concerns. To contribute to the ongoing discourse, this paper introduces Holonic Learning (HoL), a collaborative and privacy-focused learning framework designed for training deep learning models. By leveraging holonic concepts, the HoL framework establishes a structured self-similar hierarchy in the learning process, enabling more nuanced control over collaborations through the individual model aggregation approach of each holon, along with their intra-holon commitment and communication patterns. HoL, in its general form, provides extensive design and flexibility potentials. For empirical analysis and to demonstrate its effectiveness, this paper implements HoloAvg, a special variant of HoL that employs weighted averaging for model aggregation across all holons. The convergence of the proposed method is validated through experiments on both IID and Non-IID settings of the standard MNISt dataset. Furthermore, the performance behaviors of HoL are investigated under various holarchical designs and data distribution scenarios. The presented results affirm HoL's prowess in delivering competitive performance particularly, in the context of the Non-IID data distribution.
• Abstract（参考訳）: 過去10年間で、データと計算リソースのユビキタス化が進み、マシンラーニングパラダイムのより分散的なアプローチへの顕著な移行を促している。 このような移行は、スケーラビリティとリソース分散の課題に対処するだけでなく、プライバシーとセキュリティの懸念にも対処しようとしている。 本稿では,ディープラーニングモデルを学習するための協調的かつプライバシを重視した学習フレームワークであるHoloonic Learning(HoL)を紹介する。 ホロニックの概念を活用することで、HoLフレームワークは学習プロセスにおける構造化された自己相似階層を確立し、ホロロン内のコミットメントとコミュニケーションパターンとともに、各ホロンの個々のモデル集約アプローチを通じて、よりニュアンスな協調制御を可能にする。 HoLは一般的な形で、幅広い設計と柔軟性を提供する。 本論文は, 実験解析と有効性を示すため, 全ホロンのモデルアグリゲーションに重み付け平均化を用いたHoLの特殊変種であるHoloAvgを実装した。 提案手法の収束性は,標準MNIStデータセットのIIDおよび非IID設定における実験により検証される。 さらに, 各種設計およびデータ分散シナリオ下でのHoLの性能挙動について検討した。 この結果から,特に非IIDデータ分布の文脈において,HoLの競争性能向上の成果が確認された。

関連論文リスト

• FedPAE: Peer-Adaptive Ensemble Learning for Asynchronous and Model-Heterogeneous Federated Learning [9.084674176224109]
  フェデレートラーニング(FL)は、分散データソースを持つ複数のクライアントが、データのプライバシを損なうことなく、共同で共有モデルをトレーニングすることを可能にする。 我々は、モデルの不均一性と非同期学習をサポートする完全分散pFLアルゴリズムであるFederated Peer-Adaptive Ensemble Learning (FedPAE)を紹介する。 提案手法では,ピアツーピアモデル共有機構とアンサンブル選択を用いて,局所情報とグローバル情報とのより洗練されたバランスを実現する。
  論文  参考訳（メタデータ） (2024-10-17T22:47:19Z)
• When Swarm Learning meets energy series data: A decentralized collaborative learning design based on blockchain [10.099134773737939]
  機械学習モデルは、将来のエネルギー生産または消費を予測する機能を提供する。 しかし、特定のエネルギーセクター内の法と政策の制約は、様々な情報源のデータを利用する際に技術的ハードルをもたらす。 本稿では,集中型サーバをブロックチェーンベースの分散ネットワークに置き換えるSwarm Learningスキームを提案する。
  論文  参考訳（メタデータ） (2024-06-07T08:42:26Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Personalized Federated Learning with Contextual Modulation and Meta-Learning [2.7716102039510564]
  フェデレーション学習は、分散データソース上で機械学習モデルをトレーニングするための有望なアプローチとして登場した。 本稿では,フェデレートラーニングとメタラーニングを併用して,効率性と一般化能力を両立させる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-23T08:18:22Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Efficient Cluster Selection for Personalized Federated Learning: A Multi-Armed Bandit Approach [2.5477011559292175]
  フェデレートラーニング(FL)は、データプライバシを優先する、マシンラーニングモデルのための分散トレーニングアプローチを提供する。 本稿では,マルチアームバンディット(MAB)アプローチに触発された動的アッパー信頼境界(dUCB)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-29T16:46:50Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Feature Correlation-guided Knowledge Transfer for Federated Self-supervised Learning [19.505644178449046]
  特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。 私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。 我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
  論文  参考訳（メタデータ） (2022-11-14T13:59:50Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。