論文の概要: Online Deep Learning based on Auto-Encoder
- arxiv url: http://arxiv.org/abs/2201.07383v1
- Date: Wed, 19 Jan 2022 02:14:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-20 22:58:54.019598
- Title: Online Deep Learning based on Auto-Encoder
- Title（参考訳）: オートエンコーダに基づくオンラインディープラーニング
- Authors: Si-si Zhang, Jian-wei Liu, Xin Zuo, Run-kun Lu, Si-ming Lian
- Abstract要約: オートエンコーダ(ODLAE)に基づく2段階オンライン深層学習を提案する。
復元損失を考慮した自動エンコーダを用いて,インスタンスの階層的潜在表現を抽出する。
我々は,各隠れ層の分類結果を融合して得られる出力レベル融合戦略と,隠れ層の出力を融合させる自己保持機構を利用した特徴レベル融合戦略の2つの融合戦略を考案した。
- 参考スコア（独自算出の注目度）: 4.128388784932455
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Online learning is an important technical means for sketching massive
real-time and high-speed data. Although this direction has attracted intensive
attention, most of the literature in this area ignore the following three
issues: (1) they think little of the underlying abstract hierarchical latent
information existing in examples, even if extracting these abstract
hierarchical latent representations is useful to better predict the class
labels of examples; (2) the idea of preassigned model on unseen datapoints is
not suitable for modeling streaming data with evolving probability
distribution. This challenge is referred as model flexibility. And so, with
this in minds, the online deep learning model we need to design should have a
variable underlying structure; (3) moreover, it is of utmost importance to
fusion these abstract hierarchical latent representations to achieve better
classification performance, and we should give different weights to different
levels of implicit representation information when dealing with the data
streaming where the data distribution changes. To address these issues, we
propose a two-phase Online Deep Learning based on Auto-Encoder (ODLAE). Based
on auto-encoder, considering reconstruction loss, we extract abstract
hierarchical latent representations of instances; Based on predictive loss, we
devise two fusion strategies: the output-level fusion strategy, which is
obtained by fusing the classification results of encoder each hidden layer; and
feature-level fusion strategy, which is leveraged self-attention mechanism to
fusion every hidden layer output. Finally, in order to improve the robustness
of the algorithm, we also try to utilize the denoising auto-encoder to yield
hierarchical latent representations. Experimental results on different datasets
are presented to verify the validity of our proposed algorithm (ODLAE)
outperforms several baselines.
- Abstract（参考訳）: オンライン学習は、大量のリアルタイムおよび高速データをスケッチする重要な技術手段である。
この方向性に注目が集まっているが,本分野の文献の多くは,(1)抽象的階層的潜在情報のうち,たとえこれらの抽象的階層的潜在表現を抽出しても,例のクラスラベルをよりよく予測するのに有用であったとしても,その基礎となる抽象的階層的潜在情報はほとんど考えていない,(2)未確認データポイントの事前割り当てモデルは,確率分布の進化を伴うストリーミングデータのモデリングには適さない,という3つの問題を無視している。
この課題はモデルの柔軟性と呼ばれる。
したがって、このことを念頭に置いて、私たちが設計する必要があるオンラインディープラーニングモデルは、可変な基盤構造を持つべきである。(3)さらに、データ分散が変化するデータストリーミングを扱う際に、これらの抽象階層的潜在表現を融合して、より優れた分類性能を達成することは最も重要である。
そこで本研究では,auto-encoder (odlae) に基づく2段階のオンライン深層学習を提案する。
自己エンコーダに基づいて,レコンストラクション損失を考慮し,インスタンスの抽象階層的潜在表現を抽出する。予測損失に基づいて,エンコーダの各隠れレイヤの分類結果を融合して得られる出力レベル融合戦略と,すべての隠れレイヤ出力を融合するために自己アテンション機構を活用した特徴レベル融合戦略と,2つの融合戦略を考案する。
最後に,アルゴリズムのロバスト性を向上させるため,階層的潜在表現を生成するために,雑音化オートエンコーダも活用する。
提案アルゴリズム (ODLAE) の有効性を検証するために, 異なるデータセットに対する実験結果を示す。
関連論文リスト
- Language Models are Graph Learners [70.14063765424012]
言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。
本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
論文 参考訳（メタデータ） (2024-10-03T08:27:54Z) - OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。
OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。
最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
論文 参考訳（メタデータ） (2024-09-14T07:44:22Z) - Statistical signatures of abstraction in deep neural networks [0.0]
我々は、ベンチマークデータセットに基づいてトレーニングされたDeep Belief Network(DBN)において、抽象表現がどのように現れるかを研究する。
表現は最大関連性の原理によって決定される普遍モデルに近づくことを示す。
また、プラスチック度は脳のそれと同じような深さで増加することも示しています。
論文 参考訳（メタデータ） (2024-07-01T14:13:11Z) - How Deep Networks Learn Sparse and Hierarchical Data: the Sparse Random Hierarchy Model [4.215221129670858]
生成的階層的データモデルに空間性を導入することで、スムーズな変換の離散バージョンである空間変換に対する非感受性を得ることを示す。
SRHMを学習するCNNのサンプルの複雑さが、タスクのスパーシリティと階層構造の両方に依存するかを定量化する。
論文 参考訳（メタデータ） (2024-04-16T17:01:27Z) - The Trifecta: Three simple techniques for training deeper
Forward-Forward networks [0.0]
本稿では,より深いネットワーク上でのフォワード・フォワードアルゴリズムを大幅に改善する3つの手法のコレクションを提案する。
我々の実験は、我々のモデルが、単純なデータセットのトレーニング速度とテスト精度の両方において、同様に構造化されたバックプロパゲーションベースのモデルと同等であることを示した。
論文 参考訳（メタデータ） (2023-11-29T22:44:32Z) - Homological Convolutional Neural Networks [4.615338063719135]
本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
論文 参考訳（メタデータ） (2023-08-26T08:48:51Z) - Towards Automated Imbalanced Learning with Deep Hierarchical
Reinforcement Learning [57.163525407022966]
不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。
オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。
我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
論文 参考訳（メタデータ） (2022-08-26T04:28:01Z) - Imposing Consistency for Optical Flow Estimation [73.53204596544472]
プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。
本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
論文 参考訳（メタデータ） (2022-04-14T22:58:30Z) - Weakly Supervised Change Detection Using Guided Anisotropic Difusion [97.43170678509478]
我々は、このようなデータセットを変更検出の文脈で活用するのに役立つ独自のアイデアを提案する。
まず,意味的セグメンテーション結果を改善する誘導異方性拡散(GAD)アルゴリズムを提案する。
次に、変化検出に適した2つの弱い教師付き学習戦略の可能性を示す。
論文 参考訳（メタデータ） (2021-12-31T10:03:47Z) - Deep Fusion Clustering Network [38.540761683389135]
深層クラスタリングのための深層フュージョンクラスタリングネットワーク(DFCN)を提案する。
本ネットワークでは,オートエンコーダとグラフオートエンコーダが学習した表現を明示的にマージするために,相互依存学習に基づく構造化と属性情報融合(SAIF)モジュールを提案する。
6つのベンチマークデータセットの実験により、提案されたDFCNは最先端のディープクラスタリング手法よりも一貫して優れていることが示された。
論文 参考訳（メタデータ） (2020-12-15T09:37:59Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳（メタデータ） (2020-07-11T10:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。