論文の概要: Category-Learning with Context-Augmented Autoencoder

• arxiv url: http://arxiv.org/abs/2010.05007v1
• Date: Sat, 10 Oct 2020 14:04:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 22:44:18.188910
• Title: Category-Learning with Context-Augmented Autoencoder
• Title（参考訳）: context-augmented autoencoderを用いたカテゴリ学習
• Authors: Denis Kuzminykh, Laida Kushnareva, Timofey Grigoryev, Alexander Zatolokin
• Abstract要約: 実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
• 参考スコア（独自算出の注目度）: 63.05016513788047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Finding an interpretable non-redundant representation of real-world data is one of the key problems in Machine Learning. Biological neural networks are known to solve this problem quite well in unsupervised manner, yet unsupervised artificial neural networks either struggle to do it or require fine tuning for each task individually. We associate this with the fact that a biological brain learns in the context of the relationships between observations, while an artificial network does not. We also notice that, though a naive data augmentation technique can be very useful for supervised learning problems, autoencoders typically fail to generalize transformations from data augmentations. Thus, we believe that providing additional knowledge about relationships between data samples will improve model's capability of finding useful inner data representation. More formally, we consider a dataset not as a manifold, but as a category, where the examples are objects. Two these objects are connected by a morphism, if they actually represent different transformations of the same entity. Following this formalism, we propose a novel method of using data augmentations when training autoencoders. We train a Variational Autoencoder in such a way, that it makes transformation outcome predictable by auxiliary network in terms of the hidden representation. We believe that the classification accuracy of a linear classifier on the learned representation is a good metric to measure its interpretability. In our experiments, present approach outperforms $\beta$-VAE and is comparable with Gaussian-mixture VAE.
• Abstract（参考訳）: 現実世界のデータの解釈不能な表現を見つけることは、機械学習の重要な問題のひとつだ。 生物学的ニューラルネットワークは、この問題を教師なしの方法でかなりうまく解くことが知られているが、教師なしの人工ニューラルネットワークはそれを行うのに苦労するか、個々のタスクに対して微調整を必要とする。 我々は、生物学的な脳が観察間の関係の文脈で学習するという事実とこれを関連付けるが、人工的なネットワークはそうではない。 また,データ拡張手法は教師付き学習問題に非常に有用であるが,オートエンコーダはデータ拡張による変換の一般化に失敗することが多い。 したがって、データサンプル間の関係に関する追加の知識を提供することで、有用な内部データ表現を見つけるモデルの能力が向上すると信じている。 より形式的には、データセットを多様体としてではなく、例がオブジェクトである圏として考える。 2つの対象が同型で連結であり、それらが実際に同じ実体の異なる変換を表す場合である。 この形式に従うために,自動エンコーダのトレーニングにデータ拡張を用いる新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、隠れ表現の観点から補助ネットワークによって変換結果を予測できるようにする。 学習表現における線形分類器の分類精度は、その解釈可能性を測定するのによい指標であると考えている。 本実験では, ガウス混合VAEに匹敵する$\beta$-VAEよりも優れた手法を提案する。

関連論文リスト

• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
  クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。 本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。 ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-03T15:09:19Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• Learning sparse features can lead to overfitting in neural networks [9.2104922520782]
  機能学習は遅延トレーニングよりもパフォーマンスが良くないことを示す。 空間性は異方性データの学習に不可欠であることが知られているが、対象関数が一定あるいは滑らかな場合に有害である。
  論文  参考訳（メタデータ） (2022-06-24T14:26:33Z)
• How do Variational Autoencoders Learn? Insights from Representational Similarity [2.969705152497174]
  本研究では,変分オートエンコーダ(VAE)の内部挙動を表現的類似性手法を用いて検討する。 CKAとProcrustesの類似性を用いて,エンコーダの表現はデコーダよりもずっと前から学習されていることがわかった。
  論文  参考訳（メタデータ） (2022-05-17T14:31:57Z)
• Deep invariant networks with differentiable augmentation layers [87.22033101185201]
  データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。 我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
  論文  参考訳（メタデータ） (2022-02-04T14:12:31Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Malicious Network Traffic Detection via Deep Learning: An Information Theoretic View [0.0]
  本研究では,ホメオモルフィズムがマルウェアのトラフィックデータセットの学習表現に与える影響について検討する。 この結果から,学習された表現の詳細と,すべてのパラメータの多様体上で定義された特定の座標系は,関数近似とは全く異なることが示唆された。
  論文  参考訳（メタデータ） (2020-09-16T15:37:44Z)
• Laplacian Denoising Autoencoder [114.21219514831343]
  本稿では,新しいタイプの自動符号化器を用いてデータ表現を学習することを提案する。 勾配領域における潜伏クリーンデータを破損させて雑音入力データを生成する。 いくつかのビジュアルベンチマークの実験では、提案されたアプローチでより良い表現が学べることが示されている。
  論文  参考訳（メタデータ） (2020-03-30T16:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。