論文の概要: Topological Gradient-based Competitive Learning

• arxiv url: http://arxiv.org/abs/2008.09477v1
• Date: Fri, 21 Aug 2020 13:44:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 21:11:36.200385
• Title: Topological Gradient-based Competitive Learning
• Title（参考訳）: トポロジカルグラディエントに基づく競合学習
• Authors: Pietro Barbiero, Gabriele Ciravegna, Vincenzo Randazzo, Giansalvo Cirrincione
• Abstract要約: この研究は、勾配に基づく学習で競争学習をブリッジすることを目的とした、新しい包括的理論を提示することを目的としている。 2つの新しい勾配ベースの競合層の理論的等価性を完全に実証する。 予備実験は、入力行列の変換に基づいて訓練された双対アプローチが、低次元シナリオと高次元シナリオの両方において、より高速な収束率とより高いトレーニング精度をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 1.6752712949948443
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Topological learning is a wide research area aiming at uncovering the mutual spatial relationships between the elements of a set. Some of the most common and oldest approaches involve the use of unsupervised competitive neural networks. However, these methods are not based on gradient optimization which has been proven to provide striking results in feature extraction also in unsupervised learning. Unfortunately, by focusing mostly on algorithmic efficiency and accuracy, deep clustering techniques are composed of overly complex feature extractors, while using trivial algorithms in their top layer. The aim of this work is to present a novel comprehensive theory aspiring at bridging competitive learning with gradient-based learning, thus allowing the use of extremely powerful deep neural networks for feature extraction and projection combined with the remarkable flexibility and expressiveness of competitive learning. In this paper we fully demonstrate the theoretical equivalence of two novel gradient-based competitive layers. Preliminary experiments show how the dual approach, trained on the transpose of the input matrix i.e. $X^T$, lead to faster convergence rate and higher training accuracy both in low and high-dimensional scenarios.
• Abstract（参考訳）: 位相学習は、集合の要素間の相互空間的関係を明らかにすることを目的とした広い研究領域である。 最も一般的で最も古いアプローチには、教師なしの競合ニューラルネットワークの使用が含まれる。 しかし、これらの手法は、教師なし学習においても特徴抽出において顕著な結果をもたらすことが証明された勾配最適化に基づくものではない。 残念ながら、アルゴリズムの効率と正確性に重点を置くことで、深層クラスタリング技術は、上位層で自明なアルゴリズムを使用しながら、非常に複雑な特徴抽出器で構成されている。 本研究の目的は,競争学習を勾配学習にブリッジすることを目的とした,新たな総合的理論を提供することである。これにより,特徴抽出と投射に極めて強力な深層ニューラルネットワークを使用することと,競争学習の顕著な柔軟性と表現力とを両立させることである。 本稿では,2つの新しい勾配型競合層の理論的等価性を十分に示す。 予備的な実験は、入力行列の変換に基づいて訓練された双対アプローチが、低次元と高次元の両方のシナリオにおいて、より高速な収束率とより高いトレーニング精度をもたらすことを示す。

関連論文リスト

• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
  バイレベル最適化は、幅広い機械学習モデルに適用されている。 既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。 そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-30T05:29:52Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• Gradient-based Competitive Learning: Theory [1.6752712949948443]
  本稿では,勾配に基づく学習と競争的な学習を組み合わせることで,この分野の新たな視点を紹介する。 この理論は、ニューラルネットワークが入力行列の変換を直接研究することで、トポロジカル構造を学習できるという直感に基づいている。 提案手法は、トポロジカル学習タスクの広範な選択に一般化できるため、大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2020-09-06T19:00:51Z)
• Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
  検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。 また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-04-17T20:21:47Z)
• Large Batch Training Does Not Need Warmup [111.07680619360528]
  大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。 本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。 分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
  論文  参考訳（メタデータ） (2020-02-04T23:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。