論文の概要: Self-organizing Democratized Learning: Towards Large-scale Distributed Learning Systems

• arxiv url: http://arxiv.org/abs/2007.03278v3
• Date: Thu, 28 Apr 2022 01:32:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 18:47:30.095512
• Title: Self-organizing Democratized Learning: Towards Large-scale Distributed Learning Systems
• Title（参考訳）: 自己組織型民主学習--大規模分散学習システムに向けて
• Authors: Minh N. H. Nguyen, Shashi Raj Pandey, Tri Nguyen Dang, Eui-Nam Huh, Nguyen H. Tran, Walid Saad, Choong Seon Hong
• Abstract要約: 民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。 本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。 提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
• 参考スコア（独自算出の注目度）: 71.14339738190202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emerging cross-device artificial intelligence (AI) applications require a transition from conventional centralized learning systems towards large-scale distributed AI systems that can collaboratively perform complex learning tasks. In this regard, democratized learning (Dem-AI) lays out a holistic philosophy with underlying principles for building large-scale distributed and democratized machine learning systems. The outlined principles are meant to study a generalization in distributed learning systems that goes beyond existing mechanisms such as federated learning. Moreover, such learning systems rely on hierarchical self-organization of well-connected distributed learning agents who have limited and highly personalized data and can evolve and regulate themselves based on the underlying duality of specialized and generalized processes. Inspired by Dem-AI philosophy, a novel distributed learning approach is proposed in this paper. The approach consists of a self-organizing hierarchical structuring mechanism based on agglomerative clustering, hierarchical generalization, and corresponding learning mechanism. Subsequently, hierarchical generalized learning problems in recursive forms are formulated and shown to be approximately solved using the solutions of distributed personalized learning problems and hierarchical update mechanisms. To that end, a distributed learning algorithm, namely DemLearn is proposed. Extensive experiments on benchmark MNIST, Fashion-MNIST, FE-MNIST, and CIFAR-10 datasets show that the proposed algorithms demonstrate better results in the generalization performance of learning models in agents compared to the conventional FL algorithms. The detailed analysis provides useful observations to further handle both the generalization and specialization performance of the learning models in Dem-AI systems.
• Abstract（参考訳）: デバイス横断人工知能(AI)アプリケーションを進化させるには、従来の集中型学習システムから、複雑な学習タスクを協調的に実行できる大規模分散AIシステムに移行する必要がある。 この点において、民主化された学習(Dem-AI)は、大規模に分散された民主化された機械学習システムを構築するための基本原則を備えた全体論的哲学を定めている。 概説された原則は、連合学習のような既存のメカニズムを超える分散学習システムの一般化を研究することを目的としている。 さらに、このような学習システムは、限定的で高度にパーソナライズされたデータを持ち、専門的および一般化されたプロセスの基盤となる双対性に基づいて自分自身を進化させ、制御できる、十分に接続された分散学習エージェントの階層的自己組織化に依存している。 本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。 このアプローチは、集合的クラスタリング、階層的一般化、およびそれに対応する学習機構に基づく自己組織化階層構造機構で構成されている。 その後,再帰形式における階層的一般化学習問題を定式化し,分散パーソナライズ学習問題と階層的更新機構の解法を用いて大まかに解き明かした。 そこで,分散学習アルゴリズムであるDemLearnを提案する。 ベンチマークMNIST, Fashion-MNIST, FE-MNIST, CIFAR-10データセットの大規模な実験により, 提案アルゴリズムは従来のFLアルゴリズムと比較して, エージェントにおける学習モデルの一般化性能を向上することを示した。 詳細な分析により,Dem-AIシステムにおける学習モデルの一般化と特殊化性能の両立が図られる。

関連論文リスト

• A Bayesian Unification of Self-Supervised Clustering and Energy-Based Models [11.007541337967027]
  我々は、最先端の自己教師型学習目標のベイズ分析を行う。 目的関数が既存の自己教師型学習戦略より優れていることを示す。 また、GEDIをニューロシンボリックな枠組みに統合できることを実証した。
  論文  参考訳（メタデータ） (2023-12-30T04:46:16Z)
• Towards the One Learning Algorithm Hypothesis: A System-theoretic Approach [0.0]
  人間の認知における普遍的な学習アーキテクチャの存在は、神経科学の実験的な発見によって支持される広範囲にわたる推測である。 i) マルチレゾリューション分析プリプロセッサ, (ii) グループ不変の特徴抽出器, (iii) プログレッシブ知識に基づく学習モジュールの3つの主成分からなる閉ループシステムを開発した。 複数の解像度で徐々に成長する知識表現を構成する新しい学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-04T05:54:33Z)
• Supervised DKRC with Images for Offline System Identification [77.34726150561087]
  現代の力学系はますます非線形で複雑なものになりつつある。 予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。 本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
  論文  参考訳（メタデータ） (2021-09-06T04:39:06Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Iterated learning for emergent systematicity in VQA [3.977144385787228]
  ニューラルモジュールネットワークは構成性に対するアーキテクチャ上のバイアスを持っている。 レイアウトとモジュールを共同学習する場合、構成性は自動的に発生せず、適切な構造を示すレイアウトの出現には明示的な圧力が必要です。 本研究では,自然における構成言語の出現に関する認知科学理論である反復学習を用いてこの問題に対処することを提案する。
  論文  参考訳（メタデータ） (2021-05-03T18:44:06Z)
• Model-Based Deep Learning [155.063817656602]
  信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。 ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。 私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
  論文  参考訳（メタデータ） (2020-12-15T16:29:49Z)
• Towards open and expandable cognitive AI architectures for large-scale multi-agent human-robot collaborative learning [5.478764356647437]
  多エージェントLfDロボット学習のための新しい認知アーキテクチャを導入し、オープンでスケーラブルで拡張可能なロボットシステムの信頼性の高い展開を可能にする。 この概念化は、ロボットプラットフォームのネットワークの端ノードで動作する複数のAI駆動の認知プロセスを採用することに依存している。 提案フレームワークの適用性は,実世界の産業ケーススタディの例を用いて説明できる。
  論文  参考訳（メタデータ） (2020-12-15T09:49:22Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)
• Distributed and Democratized Learning: Philosophy and Research Challenges [80.39805582015133]
  民主化学習(Dem-AI)という新しいデザイン哲学を提案する。 ヒトの社会的グループに触発され、提案されたDem-AIシステムの学習エージェントの専門グループは階層構造で自己組織化され、より効率的に学習タスクを遂行する。 本稿では,様々な学際分野に触発された未来のDem-AIシステムを実現するためのガイドラインとして,参照設計を提案する。
  論文  参考訳（メタデータ） (2020-03-18T08:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。