論文の概要: Gradient-based Competitive Learning: Theory
- arxiv url: http://arxiv.org/abs/2009.02799v1
- Date: Sun, 6 Sep 2020 19:00:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-21 08:04:43.175561
- Title: Gradient-based Competitive Learning: Theory
- Title（参考訳）: 勾配に基づく競争学習:理論
- Authors: Giansalvo Cirrincione, Pietro Barbiero, Gabriele Ciravegna, Vincenzo
Randazzo
- Abstract要約: 本稿では,勾配に基づく学習と競争的な学習を組み合わせることで,この分野の新たな視点を紹介する。
この理論は、ニューラルネットワークが入力行列の変換を直接研究することで、トポロジカル構造を学習できるという直感に基づいている。
提案手法は、トポロジカル学習タスクの広範な選択に一般化できるため、大きな可能性を秘めている。
- 参考スコア（独自算出の注目度）: 1.6752712949948443
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning has been widely used for supervised learning and
classification/regression problems. Recently, a novel area of research has
applied this paradigm to unsupervised tasks; indeed, a gradient-based approach
extracts, efficiently and autonomously, the relevant features for handling
input data. However, state-of-the-art techniques focus mostly on algorithmic
efficiency and accuracy rather than mimic the input manifold. On the contrary,
competitive learning is a powerful tool for replicating the input distribution
topology. This paper introduces a novel perspective in this area by combining
these two techniques: unsupervised gradient-based and competitive learning. The
theory is based on the intuition that neural networks are able to learn
topological structures by working directly on the transpose of the input
matrix. At this purpose, the vanilla competitive layer and its dual are
presented. The former is just an adaptation of a standard competitive layer for
deep clustering, while the latter is trained on the transposed matrix. Their
equivalence is extensively proven both theoretically and experimentally.
However, the dual layer is better suited for handling very high-dimensional
datasets. The proposed approach has a great potential as it can be generalized
to a vast selection of topological learning tasks, such as non-stationary and
hierarchical clustering; furthermore, it can also be integrated within more
complex architectures such as autoencoders and generative adversarial networks.
- Abstract（参考訳）: ディープラーニングは、教師付き学習と分類/回帰問題に広く使われている。
近年、このパラダイムを教師なしタスクに適用した新たな研究領域が登場し、実際、勾配に基づくアプローチは、入力データを扱うための関連する特徴を効率的かつ自律的に抽出する。
しかし、最先端技術は主に入力多様体を模倣するよりもアルゴリズムの効率と精度に重点を置いている。
それとは対照的に、競争学習は入力分布トポロジーを複製する強力なツールである。
本稿では,これら2つの手法,教師なし勾配ベースと競合学習を組み合わせた新しい視点を提案する。
この理論は、ニューラルネットワークが入力行列の変換を直接研究することで、トポロジカル構造を学習できるという直感に基づいている。
この目的のために、バニラの競合層とその双対が提示される。
前者は、深層クラスタリングのための標準的な競合層への適応であり、後者は転位行列で訓練される。
その等価性は理論的にも実験的にも広く証明されている。
しかし、デュアル層は、非常に高次元のデータセットを扱うのに適している。
提案手法は,非定常的および階層的クラスタリングなどのトポロジ的学習タスクの膨大な選択に一般化できるだけでなく,オートエンコーダや生成的逆ネットワークといったより複雑なアーキテクチャにも統合できるため,大きな可能性を秘めている。
関連論文リスト
- Semi-adaptive Synergetic Two-way Pseudoinverse Learning System [8.16000189123978]
本稿では,半適応型2方向擬似逆学習システムを提案する。
各サブシステムは、前方学習、後方学習、機能結合モジュールを含む。
システム全体は、非段階的な降下学習アルゴリズムを用いて訓練される。
論文 参考訳（メタデータ） (2024-06-27T06:56:46Z) - Understanding Deep Representation Learning via Layerwise Feature
Compression and Discrimination [33.273226655730326]
深層線形ネットワークの各層は、幾何速度でクラス内特徴を徐々に圧縮し、線形速度でクラス間特徴を識別することを示す。
これは、ディープ線形ネットワークの階層的表現における特徴進化の最初の定量的評価である。
論文 参考訳（メタデータ） (2023-11-06T09:00:38Z) - Modular Neural Network Approaches for Surgical Image Recognition [0.0]
本稿では,DCSS不安定性分類のためのモジュール型学習の異なるアーキテクチャを導入,評価する。
実験の結果,モジュール型学習は非モジュール型システムと比較して性能が向上することがわかった。
第2部では,肩関節鏡画像への自己訓練によるデータラベリングとセグメンテーションのアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-17T22:28:16Z) - Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。
特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。
早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
論文 参考訳（メタデータ） (2023-06-20T03:00:22Z) - Hidden Classification Layers: Enhancing linear separability between
classes in neural networks layers [0.0]
トレーニング手法の深層ネットワーク性能への影響について検討する。
本稿では,全てのネットワークレイヤの出力を含むエラー関数を誘導するニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-06-09T10:52:49Z) - Bi-level Alignment for Cross-Domain Crowd Counting [113.78303285148041]
現在の手法は、補助的なタスクを訓練したり、高価な粗大な見積もりを適用したりするための外部データに依存している。
そこで我々は, 簡易かつ効率的に適用可能な, 逆学習に基づく新しい手法を開発した。
実世界の5つのクラウドカウントベンチマークに対するアプローチを評価し、既存のアプローチを大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-05-12T02:23:25Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳（メタデータ） (2022-04-21T05:27:09Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳（メタデータ） (2021-12-04T18:07:47Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Topological Gradient-based Competitive Learning [1.6752712949948443]
この研究は、勾配に基づく学習で競争学習をブリッジすることを目的とした、新しい包括的理論を提示することを目的としている。
2つの新しい勾配ベースの競合層の理論的等価性を完全に実証する。
予備実験は、入力行列の変換に基づいて訓練された双対アプローチが、低次元シナリオと高次元シナリオの両方において、より高速な収束率とより高いトレーニング精度をもたらすことを示す。
論文 参考訳（メタデータ） (2020-08-21T13:44:38Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。