論文の概要: Neural Eigenfunctions Are Structured Representation Learners

• arxiv url: http://arxiv.org/abs/2210.12637v1
• Date: Sun, 23 Oct 2022 07:17:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 18:12:09.316063
• Title: Neural Eigenfunctions Are Structured Representation Learners
• Title（参考訳）: 神経固有関数は構造化表現学習者である
• Authors: Zhijie Deng, Jiaxin Shi, Hao Zhang, Peng Cui, Cewu Lu, Jun Zhu
• Abstract要約: 構造化された適応長の深層表現を学習するためのスケーラブルな手法を提案する。 我々のアプローチは、カーネルの主固有関数を近似するようにニューラルネットワークを訓練することである。 コントラスト学習において,カーネルが肯定的な関係から導出される場合,本手法は,多くの競争的ベースラインよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 83.80295670823747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce a scalable method for learning structured, adaptive-length deep representations. Our approach is to train neural networks such that they approximate the principal eigenfunctions of a kernel. We show that, when the kernel is derived from positive relations in a contrastive learning setup, our method outperforms a number of competitive baselines in visual representation learning and transfer learning benchmarks, and importantly, produces structured representations where the order of features indicates degrees of importance. We demonstrate using such representations as adaptive-length codes in image retrieval systems. By truncation according to feature importance, our method requires up to 16$\times$ shorter representation length than leading self-supervised learning methods to achieve similar retrieval performance. We further apply our method to graph data and report strong results on a node representation learning benchmark with more than one million nodes.
• Abstract（参考訳）: 本稿では,構造化された適応長深部表現を学習するためのスケーラブルな手法を提案する。 我々のアプローチは、カーネルの主固有関数を近似するようにニューラルネットワークを訓練することである。 コントラスト学習において,カーネルが肯定的な関係から導出される場合,提案手法は視覚表現学習や伝達学習のベンチマークにおいて,多くの競争的ベースラインを上回り,重要な特徴の順序が重要度を示す構造的表現を生成する。 画像検索システムにおいて,適応長符号のような表現を用いることを実証する。 特徴量に応じてトランケーションを行うため,本手法では,従来の自己教師付き学習手法よりも16$\times$短縮表現長が必要となる。 さらに,この手法をグラフデータに適用し,100万以上のノードを有するノード表現学習ベンチマークで強い結果を報告する。

関連論文リスト

• Learning local discrete features in explainable-by-design convolutional neural networks [0.0]
  本稿では,側方抑制機構に基づくCNN(Design-by-Design Convolutional Neural Network)を提案する。 このモデルは、残留または高密度のスキップ接続を持つ高精度CNNである予測器で構成されている。 観測を収集し,直接確率を計算することにより,隣接するレベルのモチーフ間の因果関係を説明することができる。
  論文  参考訳（メタデータ） (2024-10-31T18:39:41Z)
• Visualising Feature Learning in Deep Neural Networks by Diagonalizing the Forward Feature Map [4.776836972093627]
  本稿では,ディープニューラルネットワーク(DNN)を分解して特徴学習を分析する手法を提案する。 DNNはクラス数に等しい多くの固有関数に支配される最小特徴(MF)体制に収束する。 我々は、神経崩壊現象を、回帰のようなより広範なタスクに拡張できるカーネルイメージに再キャストする。
  論文  参考訳（メタデータ） (2024-10-05T18:53:48Z)
• Noise-Resilient Unsupervised Graph Representation Learning via Multi-Hop Feature Quality Estimation [53.91958614666386]
  グラフニューラルネットワーク(GNN)に基づく教師なしグラフ表現学習(UGRL) マルチホップ特徴量推定(MQE)に基づく新しいUGRL法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T12:24:28Z)
• Learning Single-Index Models with Shallow Neural Networks [43.6480804626033]
  我々は、浅層ニューラルネットワークの自然なクラスを導入し、勾配流を通して単一インデックスモデルを学習する能力について研究する。 対応する最適化ランドスケープが良性であることを示し、それによって専用半パラメトリック手法の準最適サンプル複雑性に一致するような一般化保証が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-27T17:52:58Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• HAN: An Efficient Hierarchical Self-Attention Network for Skeleton-Based Gesture Recognition [73.64451471862613]
  骨格に基づくジェスチャー認識のための効率的な階層型自己認識ネットワーク(HAN)を提案する。 ジョイント・セルフアテンション・モジュールは指の空間的特徴を捉え、指の自己アテンション・モジュールは手全体の特徴を集約するように設計されている。 実験の結果,3つのジェスチャ認識データセットに対して,計算複雑性がはるかに低い競合的な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-06-25T02:15:53Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Learning the Implicit Semantic Representation on Graph-Structured Data [57.670106959061634]
  グラフ畳み込みネットワークにおける既存の表現学習手法は主に、各ノードの近傍を知覚全体として記述することで設計される。 本稿では,グラフの潜在意味パスを学習することで暗黙的な意味を探索する意味グラフ畳み込みネットワーク(sgcn)を提案する。
  論文  参考訳（メタデータ） (2021-01-16T16:18:43Z)
• GENNI: Visualising the Geometry of Equivalences for Neural Network Identifiability [14.31120627384789]
  ニューラルネットワークの対称性を可視化する効率的なアルゴリズムを提案する。 提案手法であるGENNIは,機能的に等価なパラメータを効率的に同定し,その結果の同値クラスの部分空間を可視化する。
  論文  参考訳（メタデータ） (2020-11-14T22:53:13Z)
• SCG-Net: Self-Constructing Graph Neural Networks for Semantic Segmentation [23.623276007011373]
  本稿では,画像から直接長距離依存グラフを学習し,コンテキスト情報を効率的に伝達するモジュールを提案する。 モジュールは、新しい適応対角法と変分下界により最適化される。 ニューラルネットワーク(SCG-Net)に組み込まれると、セマンティックセグメンテーションがエンドツーエンドで行われ、競争性能が向上する。
  論文  参考訳（メタデータ） (2020-09-03T12:13:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。