論文の概要: Neural Random Projection: From the Initial Task To the Input Similarity Problem

• arxiv url: http://arxiv.org/abs/2010.04555v1
• Date: Fri, 9 Oct 2020 13:20:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 04:11:22.867227
• Title: Neural Random Projection: From the Initial Task To the Input Similarity Problem
• Title（参考訳）: ニューラルランダム射影:初期課題から入力類似性問題へ
• Authors: Alan Savushkin, Nikita Benkovich and Dmitry Golubev
• Abstract要約: ニューラルネットワークを用いた入力データの類似性を評価するために,暗黙データ表現のための新しい手法を提案する。 提案手法は初期タスクを明示的に考慮し,ベクトル表現のサイズを大幅に削減する。 実験の結果,提案手法は入力類似性タスクにおける競合的な結果が得られることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel approach for implicit data representation to evaluate similarity of input data using a trained neural network. In contrast to the previous approach, which uses gradients for representation, we utilize only the outputs from the last hidden layer of a neural network and do not use a backward step. The proposed technique explicitly takes into account the initial task and significantly reduces the size of the vector representation, as well as the computation time. The key point is minimization of information loss between layers. Generally, a neural network discards information that is not related to the problem, which makes the last hidden layer representation useless for input similarity task. In this work, we consider two main causes of information loss: correlation between neurons and insufficient size of the last hidden layer. To reduce the correlation between neurons we use orthogonal weight initialization for each layer and modify the loss function to ensure orthogonality of the weights during training. Moreover, we show that activation functions can potentially increase correlation. To solve this problem, we apply modified Batch-Normalization with Dropout. Using orthogonal weight matrices allow us to consider such neural networks as an application of the Random Projection method and get a lower bound estimate for the size of the last hidden layer. We perform experiments on MNIST and physical examination datasets. In both experiments, initially, we split a set of labels into two disjoint subsets to train a neural network for binary classification problem, and then use this model to measure similarity between input data and define hidden classes. Our experimental results show that the proposed approach achieves competitive results on the input similarity task while reducing both computation time and the size of the input representation.
• Abstract（参考訳）: 本稿では,ニューラルネットワークを用いた入力データの類似性を評価するために,暗黙データ表現のための新しい手法を提案する。 表現に勾配を用いる従来のアプローチとは対照的に、ニューラルネットワークの最後に隠されたレイヤからの出力のみを利用し、後向きのステップを使用しない。 提案手法は初期タスクを明示的に考慮し,ベクトル表現のサイズと計算時間を大幅に削減する。 キーポイントはレイヤ間の情報損失の最小化です。 一般的に、ニューラルネットワークは、問題とは無関係な情報を破棄するので、最後の隠蔽層表現は入力類似性タスクでは役に立たない。 本研究では、ニューロン間の相関と最後の隠蔽層の大きさの不足という、情報損失の主な原因について考察する。 ニューロン間の相関を減少させるために,各層に対して直交重み初期化を行い,トレーニング中の重みの直交性を確保するために損失関数を変更する。 さらに,アクティベーション関数は相関性を高める可能性を示唆する。 この問題を解決するために,Dropout を用いたBatch-Normalization を改良した。 直交重み行列を用いることで、そのようなニューラルネットワークをランダム射影法の適用として考慮し、最後の隠蔽層の大きさの低い境界推定値を得ることができる。 MNISTと物理検査データセットの実験を行った。 どちらの実験でも、まずラベルの集合を2つの解離部分集合に分割し、二項分類問題のためにニューラルネットワークを訓練し、このモデルを用いて入力データ間の類似度を測定し、隠れクラスを定義する。 提案手法は, 計算時間と入力表現の大きさの両方を削減しつつ, 入力類似性タスクにおいて競合的な結果が得られることを示す。

関連論文リスト

• RelChaNet: Neural Network Feature Selection using Relative Change Scores [0.0]
  本稿では、ニューラルネットワークの入力層にニューロンのプルーニングと再成長を利用する、新しくて軽量な特徴選択アルゴリズムであるRelChaNetを紹介する。 我々の手法は一般に現在の最先端手法よりも優れており、特にMNISTデータセットの平均精度を2%向上させる。
  論文  参考訳（メタデータ） (2024-10-03T09:56:39Z)
• An Initialization Schema for Neuronal Networks on Tabular Data [0.9155684383461983]
  本稿では,二項ニューラルネットワークが表データに対して有効に利用できることを示す。 提案手法はニューラルネットワークの最初の隠蔽層を初期化するための単純だが効果的なアプローチを示す。 我々は、複数の公開データセットに対する我々のアプローチを評価し、他のニューラルネットワークベースのアプローチと比較して、改善されたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-11-07T13:52:35Z)
• Using Linear Regression for Iteratively Training Neural Networks [4.873362301533824]
  ニューラルネットワークの重みとバイアスを学習するための単純な線形回帰に基づくアプローチを提案する。 このアプローチは、より大きく、より複雑なアーキテクチャに向けられている。
  論文  参考訳（メタデータ） (2023-07-11T11:53:25Z)
• Hidden Classification Layers: Enhancing linear separability between classes in neural networks layers [0.0]
  トレーニング手法の深層ネットワーク性能への影響について検討する。 本稿では,全てのネットワークレイヤの出力を含むエラー関数を誘導するニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-06-09T10:52:49Z)
• Diffused Redundancy in Pre-trained Representations [98.55546694886819]
  事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。 与えられた層における学習された表現は拡散冗長性を示す。 我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
  論文  参考訳（メタデータ） (2023-05-31T21:00:50Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Adaptive conversion of real-valued input into spike trains [91.3755431537592]
  本稿では,実数値入力をスパイクトレインに変換し,スパイクニューラルネットワークで処理する方法を提案する。 提案手法は網膜神経節細胞の適応的挙動を模倣し,入力ニューロンが入力の統計の変化に応答することを可能にする。
  論文  参考訳（メタデータ） (2021-04-12T12:33:52Z)
• Deep Convolutional Neural Network-based Bernoulli Heatmap for Head Pose Estimation [11.676928225717337]
  本稿では1枚のRGB画像から頭部ポーズ推定のためのベルヌーイヒートマップを提案する。 本手法は頭部の角度を推定しながら頭部位置を推定できる。 マルチスケール表現を備えたディープ畳み込みニューラルネットワーク(CNN)構造を採用し、高解像度情報を維持する。
  論文  参考訳（メタデータ） (2020-05-24T15:36:29Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。