論文の概要: Learning Representation from Neural Fisher Kernel with Low-rank Approximation

• arxiv url: http://arxiv.org/abs/2202.01944v1
• Date: Fri, 4 Feb 2022 02:28:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-07 15:34:33.610156
• Title: Learning Representation from Neural Fisher Kernel with Low-rank Approximation
• Title（参考訳）: 低ランク近似を用いたニューラルフィッシャーカーネルからの学習表現
• Authors: Ruixiang Zhang, Shuangfei Zhai, Etai Littwin, Josh Susskind
• Abstract要約: まず、ニューラルネットワークに適用されたフィッシャーカーネルであるニューラルフィッシャーカーネル(NFK)を定義する。 教師付き学習モデルと教師なし学習モデルの両方でNFKを計算可能であることを示す。 そこで我々は,NFKの低階近似を計算し,大規模データセットやネットワークにスケールする効率的なアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 16.14794818755318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study the representation of neural networks from the view of kernels. We first define the Neural Fisher Kernel (NFK), which is the Fisher Kernel applied to neural networks. We show that NFK can be computed for both supervised and unsupervised learning models, which can serve as a unified tool for representation extraction. Furthermore, we show that practical NFKs exhibit low-rank structures. We then propose an efficient algorithm that computes a low rank approximation of NFK, which scales to large datasets and networks. We show that the low-rank approximation of NFKs derived from unsupervised generative models and supervised learning models gives rise to high-quality compact representations of data, achieving competitive results on a variety of machine learning tasks.
• Abstract（参考訳）: 本稿では,カーネルの観点からニューラルネットワークの表現について検討する。 まず,ニューラルネットワークに適用されるfisherカーネルであるneural fisher kernel(nfk)を定義する。 本研究では,教師付き学習モデルと教師なし学習モデルの両方に対してnfkを計算し,表現抽出のための統一的なツールとして利用できることを示す。 さらに,実用的なnfkは低位構造を示すことを示した。 次に,大規模データセットとネットワークにスケールするnfkの低ランク近似を計算する効率的なアルゴリズムを提案する。 教師なし生成モデルと教師付き学習モデルから導かれるNFKの低ランク近似により、データの高品質なコンパクト表現が生まれ、様々な機械学習タスクにおいて競合的な結果が得られることを示す。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Kernel vs. Kernel: Exploring How the Data Structure Affects Neural Collapse [9.975341265604577]
  ニューラル・コラプス(Neural Collapse)とは、NC1と呼ばれるネットワークの最も深い機能のクラス内での多様性の低下である。 この制限に悩まされないカーネルベースの分析を提供する。 NTKは、原型データモデルに対するNNGPよりも崩壊した特徴を表現していないことを示す。
  論文  参考訳（メタデータ） (2024-06-04T08:33:56Z)
• Exploring Learned Representations of Neural Networks with Principal Component Analysis [1.0923877073891446]
  ある層では、高い精度の分類には中間的特徴空間分散の20%しか必要としない。 本研究は神経崩壊と相関し, 中間神経崩壊の関連現象の部分的証拠を提供する。
  論文  参考訳（メタデータ） (2023-09-27T00:18:25Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Spiking neural networks with Hebbian plasticity for unsupervised representation learning [0.0]
  教師なしの手順でデータから分散内部表現を学習するための新しいスパイクニューラルネットワークモデルを提案する。 オンライン相関に基づくHebbian-Bayesian学習と再配線機構を,前述した表現学習をスパイクニューラルネットワークに導入する。 我々は,非スパイクBCPNNに近い性能を示し,MNISTとF-MNISTの機械学習ベンチマークでトレーニングした場合,他のヘビーンのスパイクネットワークと競合することを示す。
  論文  参考訳（メタデータ） (2023-05-05T22:34:54Z)
• Neighborhood Convolutional Network: A New Paradigm of Graph Neural Networks for Node Classification [12.062421384484812]
  グラフ畳み込みネットワーク(GCN)は、各畳み込み層における近傍の集約と特徴変換を分離する。 本稿では,周辺畳み込みネットワーク(NCN)と呼ばれるGCNの新しいパラダイムを提案する。 このようにして、モデルは、近隣情報を集約するための分離GCNの利点を継承すると同時に、より強力な特徴学習モジュールを開発することができる。
  論文  参考訳（メタデータ） (2022-11-15T02:02:51Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• End-to-End Learning of Deep Kernel Acquisition Functions for Bayesian Optimization [39.56814839510978]
  ニューラルネットワークに基づくカーネルを用いたベイズ最適化のためのメタラーニング手法を提案する。 我々のモデルは、複数のタスクから強化学習フレームワークによって訓練されている。 3つのテキスト文書データセットを用いた実験において,提案手法が既存の手法よりも優れたBO性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-11-01T00:42:31Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。