論文の概要: Unsupervised Learning of Invariance Transformations

• arxiv url: http://arxiv.org/abs/2307.12937v1
• Date: Mon, 24 Jul 2023 17:03:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 13:33:33.904475
• Title: Unsupervised Learning of Invariance Transformations
• Title（参考訳）: 不変変換の教師なし学習
• Authors: Aleksandar Vu\v{c}kovi\'c, Benedikt Stock, Alexander V. Hopp, Mathias Winkel, and Helmut Linde
• Abstract要約: 近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
• 参考スコア（独自算出の注目度）: 105.54048699217668
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The need for large amounts of training data in modern machine learning is one of the biggest challenges of the field. Compared to the brain, current artificial algorithms are much less capable of learning invariance transformations and employing them to extrapolate knowledge from small sample sets. It has recently been proposed that the brain might encode perceptual invariances as approximate graph symmetries in the network of synaptic connections. Such symmetries may arise naturally through a biologically plausible process of unsupervised Hebbian learning. In the present paper, we illustrate this proposal on numerical examples, showing that invariance transformations can indeed be recovered from the structure of recurrent synaptic connections which form within a layer of feature detector neurons via a simple Hebbian learning rule. In order to numerically recover the invariance transformations from the resulting recurrent network, we develop a general algorithmic framework for finding approximate graph automorphisms. We discuss how this framework can be used to find approximate automorphisms in weighted graphs in general.
• Abstract（参考訳）: 現代の機械学習における大量のトレーニングデータの必要性は、この分野の最大の課題の1つだ。 脳と比較して、現在の人工アルゴリズムは、不変変換を学習し、それを小さなサンプルセットから知識を外挿するために利用する能力がはるかに低い。 近年、脳はシナプス接続のネットワークにおける近似グラフ対称性として知覚の不変性をコードする可能性が示唆されている。 このような対称性は、教師なしのヘビー学習の生物学的に妥当な過程を通じて自然に生じる。 本稿では,この数値例について,特徴検出器ニューロンの層内に形成される再帰的なシナプス接続の構造から,単純なヘビアン学習則によって不変変換を回復できることを示す。 得られた再帰的ネットワークから不変変換を数値的に回収するために、近似グラフ自己同型を求めるための一般的なアルゴリズムフレームワークを開発する。 本稿では,このフレームワークを用いて重み付きグラフの近似自己同型を見つける方法について述べる。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Does the Brain Infer Invariance Transformations from Graph Symmetries? [0.0]
  知覚的変化の下での自然物体の不変性は、シナプス接続のグラフの対称性によって脳内でコード化される可能性がある。 このグラフは、生物学的に妥当なプロセスにおいて、異なる知覚的モダリティをまたいだ教師なしの学習を通じて確立することができる。
  論文  参考訳（メタデータ） (2021-11-11T12:35:13Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Self-Supervised Graph Representation Learning via Topology Transformations [61.870882736758624]
  本稿では,グラフデータのノード表現のための自己教師型学習の一般的なパラダイムであるトポロジー変換同変表現学習について述べる。 実験では,提案手法を下流ノードおよびグラフ分類タスクに適用し,提案手法が最先端の教師なし手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-25T06:11:03Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• Malicious Network Traffic Detection via Deep Learning: An Information Theoretic View [0.0]
  本研究では,ホメオモルフィズムがマルウェアのトラフィックデータセットの学習表現に与える影響について検討する。 この結果から,学習された表現の詳細と,すべてのパラメータの多様体上で定義された特定の座標系は,関数近似とは全く異なることが示唆された。
  論文  参考訳（メタデータ） (2020-09-16T15:37:44Z)
• Teaching Recurrent Neural Networks to Modify Chaotic Memories by Example [14.91507266777207]
  繰り返しニューラルネットワークは,実例のみを用いて複雑な情報の表現を変更できることが示される。 我々は,これらの計算を学習するためのメカニズムを提供し,一つのネットワークが同時に複数の計算を学習できることを実証する。
  論文  参考訳（メタデータ） (2020-05-03T20:51:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。