論文の概要: Global convergence of Negative Correlation Extreme Learning Machine

• arxiv url: http://arxiv.org/abs/2009.14695v2
• Date: Tue, 30 Mar 2021 09:18:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 22:16:20.182488
• Title: Global convergence of Negative Correlation Extreme Learning Machine
• Title（参考訳）: 負相関極端学習マシンのグローバル収束
• Authors: Carlos Perales-Gonz\'alez
• Abstract要約: 本稿では,NCELMのグローバル収束を保証するために十分な条件を数学的に提示する。 各反復におけるアンサンブルの更新は縮約写像関数として定義され、バナッハの定理により、アンサンブルの大域収束が証明される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensemble approaches introduced in the Extreme Learning Machine (ELM) literature mainly come from methods that relies on data sampling procedures, under the assumption that the training data are heterogeneously enough to set up diverse base learners. To overcome this assumption, it was proposed an ELM ensemble method based on the Negative Correlation Learning (NCL) framework, called Negative Correlation Extreme Learning Machine (NCELM). This model works in two stages: i) different ELMs are generated as base learners with random weights in the hidden layer, and ii) a NCL penalty term with the information of the ensemble prediction is introduced in each ELM minimization problem, updating the base learners, iii) second step is iterated until the ensemble converges. Although this NCL ensemble method was validated by an experimental study with multiple benchmark datasets, no information was given on the conditions about this convergence. This paper mathematically presents the sufficient conditions to guarantee the global convergence of NCELM. The update of the ensemble in each iteration is defined as a contraction mapping function, and through Banach theorem, global convergence of the ensemble is proved.
• Abstract（参考訳）: ELM(Extreme Learning Machine)の文献で導入されたアンサンブルアプローチは主に、トレーニングデータが多種多様な基礎学習者を設定するのに十分不均一であるという前提のもと、データサンプリング手順に依存する手法に由来する。 この仮定を克服するため,NCELM(Negative correlation Extreme Learning Machine)と呼ばれる負相関学習(NCL)フレームワークに基づくELMアンサンブル手法を提案した。 このモデルは2段階で動作する。 一 隠された層にランダムな重みを持つ基礎学習者として異なるEMMを生成すること。 二 各EMM最小化問題において、アンサンブル予測の情報を有するNCLペナルティ項を導入し、基礎学習者を更新する。 iii) 第2段階は、アンサンブルが収束するまで反復される。 このnclアンサンブル法は、複数のベンチマークデータセットを用いた実験的研究によって検証されたが、この収束条件に関する情報は得られなかった。 本稿では,NCELMのグローバル収束を保証するために十分な条件を数学的に提示する。 各反復におけるアンサンブルの更新は縮約写像関数として定義され、バナッハの定理により、アンサンブルの大域収束が証明される。

関連論文リスト

• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Global Convergence of Online Identification for Mixed Linear Regression [1.9295130374196499]
  混合線形回帰(MLR)は非線形関係を特徴づける強力なモデルである。 本稿では,MLRの2つの基本クラスにおけるオンライン識別とデータクラスタリングの問題について検討する。 期待最大化原理に基づく新しいオンライン識別アルゴリズムを2つ導入する。
  論文  参考訳（メタデータ） (2023-11-30T12:30:42Z)
• Generalized Oversampling for Learning from Imbalanced datasets and Associated Theory [0.0]
  教師あり学習では、実際の不均衡なデータセットに直面することが多い。 本稿では,カーネル密度推定に基づくデータ拡張手法であるGOLIATHアルゴリズムを提案する。 我々は,不均衡な回帰状況下でのGOLIATHアルゴリズムの性能を評価する。
  論文  参考訳（メタデータ） (2023-08-05T23:08:08Z)
• Depersonalized Federated Learning: Tackling Statistical Heterogeneity by Alternating Stochastic Gradient Descent [6.394263208820851]
  フェデレート・ラーニング(FL)は、デバイスがデータ共有なしでインテリジェントな推論のために共通の機械学習(ML)モデルをトレーニングすることを可能にする。 様々な共役者によって保持される生データは、常に不特定に分散される。 本稿では,このプロセスのデスピードにより統計的に大幅に最適化できる新しいFLを提案する。
  論文  参考訳（メタデータ） (2022-10-07T10:30:39Z)
• Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
  特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。 我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
  論文  参考訳（メタデータ） (2021-10-03T05:38:49Z)
• A survey on Bayesian inference for Gaussian mixture model [3.109306676759862]
  この調査の目的は、有限および無限ガウス混合モデルに対するベイズ推定における概念と数学的ツールを自己完結的に導入することである。 この控えめな背景以外は、開発は自己完結しており、厳密な証明が提供される。
  論文  参考訳（メタデータ） (2021-08-20T13:23:17Z)
• Posterior-Aided Regularization for Likelihood-Free Inference [23.708122045184698]
  後補助正規化(PAR)は,モデル構造に関係なく,密度推定器の学習に適用可能である。 単一のニューラルネットワークを用いて逆KL項と相互情報項の両方を推定するPARの統一推定方法を提供する。
  論文  参考訳（メタデータ） (2021-02-15T16:59:30Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。