論文の概要: For Manifold Learning, Deep Neural Networks can be Locality Sensitive Hash Functions

• arxiv url: http://arxiv.org/abs/2103.06875v1
• Date: Thu, 11 Mar 2021 18:57:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-13 01:20:48.541798
• Title: For Manifold Learning, Deep Neural Networks can be Locality Sensitive Hash Functions
• Title（参考訳）: マニホールド学習において、ディープニューラルネットワークは局所性に敏感なハッシュ関数となる
• Authors: Nishanth Dikkala, Gal Kaplun, Rina Panigrahy
• Abstract要約: ニューラル表現は、各入力を埋め込みにマップするLSHライクな関数として見ることができる。 この行動の重要な結果は、見えないクラスへのワンショット学習です。
• 参考スコア（独自算出の注目度）: 14.347610075713412
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is well established that training deep neural networks gives useful representations that capture essential features of the inputs. However, these representations are poorly understood in theory and practice. In the context of supervised learning an important question is whether these representations capture features informative for classification, while filtering out non-informative noisy ones. We explore a formalization of this question by considering a generative process where each class is associated with a high-dimensional manifold and different classes define different manifolds. Under this model, each input is produced using two latent vectors: (i) a "manifold identifier" $\gamma$ and; (ii)~a "transformation parameter" $\theta$ that shifts examples along the surface of a manifold. E.g., $\gamma$ might represent a canonical image of a dog, and $\theta$ might stand for variations in pose, background or lighting. We provide theoretical and empirical evidence that neural representations can be viewed as LSH-like functions that map each input to an embedding that is a function of solely the informative $\gamma$ and invariant to $\theta$, effectively recovering the manifold identifier $\gamma$. An important consequence of this behavior is one-shot learning to unseen classes.
• Abstract（参考訳）: ディープニューラルネットワークのトレーニングは、入力の本質的な特徴を捉える有用な表現を提供することが確立されています。 しかし、これらの表現は理論と実践においてよく理解されていない。 教師付き学習の文脈では、これらの表現が分類に有益な特徴を捕捉し、非情報的ノイズのあるものを除外するかどうかが重要な質問である。 我々は、各クラスが高次元多様体に関連付けられ、異なるクラスが異なる多様体を定義する生成過程を考えることにより、この問題の形式化を探求する。 このモデルの下では、各入力は2つの潜在ベクトルを用いて生成される: (i) "manifold identifier" $\gamma$ および (ii)~ a "transformation parameter" $\theta$ は多様体の表面に沿って例をシフトする。 例えば、$\gamma$ は犬の正統的なイメージを表し、$\theta$ はポーズ、背景、照明のバリエーションを表すかもしれません。 ニューラル表現は、各入力をインフォメーション $\gamma$ のみの関数であり、$\theta$ に不変である埋め込みにマップする LSH ライクな関数として見ることができるという理論的および実証的な証拠を提供し、マニホールド識別子 $\gamma$ を効果的に回復する。 この行動の重要な結果は、見えないクラスへのワンショット学習です。

関連論文リスト

• The Optimization Landscape of SGD Across the Feature Learning Strength [102.1353410293931]
  オンライントレーニング環境で、さまざまなモデルやデータセットに$gamma$をスケーリングする効果について検討する。 最適なオンラインパフォーマンスは、しばしば大きな$gamma$で見られます。 以上の結果から,大容量ガンマ$限界の解析的研究は,実演モデルにおける表現学習のダイナミクスに関する有用な知見をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-06T22:30:14Z)
• Visualising Feature Learning in Deep Neural Networks by Diagonalizing the Forward Feature Map [4.776836972093627]
  本稿では,ディープニューラルネットワーク(DNN)を分解して特徴学習を分析する手法を提案する。 DNNはクラス数に等しい多くの固有関数に支配される最小特徴(MF)体制に収束する。 我々は、神経崩壊現象を、回帰のようなより広範なタスクに拡張できるカーネルイメージに再キャストする。
  論文  参考訳（メタデータ） (2024-10-05T18:53:48Z)
• GRIL: A $2$-parameter Persistence Based Vectorization for Machine Learning [0.49703640686206074]
  本稿では,パラメータ持続モジュールに対してGRIL(Generalized Rank Invariant Landscape)と呼ばれる新しいベクトル表現を導入する。 このベクトル表現は1$-Lipschitz 安定であり、下層の濾過関数に対して微分可能であることを示す。 また、GRILがグラフニューラルネットワーク(GNN)に富む追加機能をキャプチャできることを示す性能の向上も観察している。
  論文  参考訳（メタデータ） (2023-04-11T04:30:58Z)
• Neural Networks can Learn Representations with Gradient Descent [68.95262816363288]
  特定の状況下では、勾配降下によって訓練されたニューラルネットワークは、カーネルメソッドのように振る舞う。 実際には、ニューラルネットワークが関連するカーネルを強く上回ることが知られている。
  論文  参考訳（メタデータ） (2022-06-30T09:24:02Z)
• Learning sparse features can lead to overfitting in neural networks [9.2104922520782]
  機能学習は遅延トレーニングよりもパフォーマンスが良くないことを示す。 空間性は異方性データの学習に不可欠であることが知られているが、対象関数が一定あるいは滑らかな場合に有害である。
  論文  参考訳（メタデータ） (2022-06-24T14:26:33Z)
• Improving Robustness and Generality of NLP Models Using Disentangled Representations [62.08794500431367]
  スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。 本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。 提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
  論文  参考訳（メタデータ） (2020-09-21T02:48:46Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• Neural Bayes: A Generic Parameterization Method for Unsupervised Representation Learning [175.34232468746245]
  本稿ではニューラルベイズと呼ばれるパラメータ化手法を提案する。 これは一般に計算が難しい統計量の計算を可能にする。 このパラメータ化のための2つの独立したユースケースを示す。
  論文  参考訳（メタデータ） (2020-02-20T22:28:53Z)
• Backward Feature Correction: How Deep Learning Performs Deep (Hierarchical) Learning [66.05472746340142]
  本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。 我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
  論文  参考訳（メタデータ） (2020-01-13T17:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。