論文の概要: Unsupervised Representation Learning via Neural Activation Coding

• arxiv url: http://arxiv.org/abs/2112.04014v1
• Date: Tue, 7 Dec 2021 21:59:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-10 02:03:43.042782
• Title: Unsupervised Representation Learning via Neural Activation Coding
• Title（参考訳）: ニューラルアクティベーション符号化による教師なし表現学習
• Authors: Yookoon Park, Sangho Lee, Gunhee Kim, David M. Blei
• Abstract要約: 我々は、下流アプリケーションのためのラベルなしデータから深部表現を学習するための新しいアプローチとして、ニューラルアクティベーションコーディング(NAC)を提案する。 我々はNACが連続したデータ表現と離散的なデータ表現の両方を学習し、それぞれ下流の2つのタスクで評価することを示した。
• 参考スコア（独自算出の注目度）: 66.65837512531729
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present neural activation coding (NAC) as a novel approach for learning deep representations from unlabeled data for downstream applications. We argue that the deep encoder should maximize its nonlinear expressivity on the data for downstream predictors to take full advantage of its representation power. To this end, NAC maximizes the mutual information between activation patterns of the encoder and the data over a noisy communication channel. We show that learning for a noise-robust activation code increases the number of distinct linear regions of ReLU encoders, hence the maximum nonlinear expressivity. More interestingly, NAC learns both continuous and discrete representations of data, which we respectively evaluate on two downstream tasks: (i) linear classification on CIFAR-10 and ImageNet-1K and (ii) nearest neighbor retrieval on CIFAR-10 and FLICKR-25K. Empirical results show that NAC attains better or comparable performance on both tasks over recent baselines including SimCLR and DistillHash. In addition, NAC pretraining provides significant benefits to the training of deep generative models. Our code is available at https://github.com/yookoon/nac.
• Abstract（参考訳）: 本稿では,神経アクティベーションコーディング(nac)を,ラベルなしデータから下流アプリケーションへの深層表現を学習するための新しい手法として提示する。 より深いエンコーダは、その表現力を最大限に活用するために、下流予測器のデータに対する非線形表現率を最大化するべきである。 これにより、NACは、エンコーダのアクティベーションパターンと、ノイズの多い通信チャネル上のデータとの相互情報を最大化する。 ノイズロバストアクティベーション符号の学習は、reluエンコーダの異なる線形領域の数を増加させ、したがって最大非線形表現率を増加させる。 さらに興味深いことに、NACはデータの連続表現と離散表現の両方を学び、それぞれが下流の2つのタスクで評価する。 (i)CIFAR-10とImageNet-1Kの線形分類 (ii) CIFAR-10とFLICKR-25Kの近接検索 実験結果から,nac は simclr や distillhash などの最近のベースラインよりも,両方のタスクで優れた性能を得られることがわかった。 さらに、NACプレトレーニングは、深い生成モデルのトレーニングに重要な利益をもたらす。 私たちのコードはhttps://github.com/yookoon/nacで利用可能です。

関連論文リスト

• Offline Writer Identification Using Convolutional Neural Network Activation Features [6.589323210821262]
  畳み込みニューラルネットワーク(CNN)は、最近、大規模な画像分類のための最先端のツールとなっている。 本研究では,CNNのアクティベーション機能を,ライター識別のためのローカル記述子として用いることを提案する。 ICDAR 2013ベンチマークデータベースとCVLデータセットの2つの公開データセットに対して,本手法の評価を行った。
  論文  参考訳（メタデータ） (2024-02-26T21:16:14Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
  ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。 我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。 実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T05:07:19Z)
• Learning Representation from Neural Fisher Kernel with Low-rank Approximation [16.14794818755318]
  まず、ニューラルネットワークに適用されたフィッシャーカーネルであるニューラルフィッシャーカーネル(NFK)を定義する。 教師付き学習モデルと教師なし学習モデルの両方でNFKを計算可能であることを示す。 そこで我々は,NFKの低階近似を計算し,大規模データセットやネットワークにスケールする効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-04T02:28:02Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Coresets for Robust Training of Neural Networks against Noisy Labels [78.03027938765746]
  本稿では,雑音ラベルで訓練したディープネットワークの堅牢なトレーニングのための理論的保証を強く備えた新しい手法を提案する。 我々は、ほぼ低ランクのヤコビ行列を提供するクリーンなデータポイントの重み付き部分集合(コアセット)を選択する。 我々の実験は、我々の理論を裏付け、我々のサブセットで訓練されたディープネットワークが、最先端技術よりもはるかに優れたパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2020-11-15T04:58:11Z)
• Dataset Meta-Learning from Kernel Ridge-Regression [18.253682891579402]
  Kernel Inducing Points (KIP) はデータセットを1桁から2桁に圧縮することができる。 KIP学習データセットは、遅延学習体制を超えても有限幅ニューラルネットワークのトレーニングに転送可能である。
  論文  参考訳（メタデータ） (2020-10-30T18:54:04Z)
• A Neural Network Approach for Online Nonlinear Neyman-Pearson Classification [3.6144103736375857]
  論文の中では,オンラインと非線形の両方で初となる新しいNeyman-Pearson(NP)分類器を提案する。 提案する分類器は、オンライン方式でバイナリラベル付きデータストリーム上で動作し、ユーザが指定し、制御可能な偽陽性率の検出能力を最大化する。 提案アルゴリズムは大規模データアプリケーションに適しており,実時間処理による偽陽性率制御性を実現している。
  論文  参考訳（メタデータ） (2020-06-14T20:00:25Z)
• Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
  グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。 ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。 連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-04T06:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。