論文の概要: Scalable Teacher Forcing Network for Semi-Supervised Large Scale Data
Streams
- arxiv url: http://arxiv.org/abs/2107.02943v1
- Date: Sat, 26 Jun 2021 03:37:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-11 11:34:23.021477
- Title: Scalable Teacher Forcing Network for Semi-Supervised Large Scale Data
Streams
- Title(参考訳): 半教師型大規模データストリームのためのスケーラブル教師強制ネットワーク
- Authors: Mahardhika Pratama, Choiru Za'in, Edwin Lughofer, Eric Pardede, Dwi A.
P. Rahayu
- Abstract要約: 本稿では,Weakly Supervised Scalable Teacher Forcing Network(WeScatterNet)を提案する。
WeScatterNetはApache Sparkの分散コンピューティングプラットフォームの下で開発されており、並列コンピューティングの段階以降のモデル圧縮のためのデータフリーモデル融合戦略を採用している。
WeScatterNetの性能は、ラベル比がわずか25%の6つの大規模データストリーム問題において数値的に評価される。
- 参考スコア(独自算出の注目度): 16.171151152904617
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The large-scale data stream problem refers to high-speed information flow
which cannot be processed in scalable manner under a traditional computing
platform. This problem also imposes expensive labelling cost making the
deployment of fully supervised algorithms unfeasible. On the other hand, the
problem of semi-supervised large-scale data streams is little explored in the
literature because most works are designed in the traditional single-node
computing environments while also being fully supervised approaches. This paper
offers Weakly Supervised Scalable Teacher Forcing Network (WeScatterNet) to
cope with the scarcity of labelled samples and the large-scale data streams
simultaneously. WeScatterNet is crafted under distributed computing platform of
Apache Spark with a data-free model fusion strategy for model compression after
parallel computing stage. It features an open network structure to address the
global and local drift problems while integrating a data augmentation,
annotation and auto-correction ($DA^3$) method for handling partially labelled
data streams. The performance of WeScatterNet is numerically evaluated in the
six large-scale data stream problems with only $25\%$ label proportions. It
shows highly competitive performance even if compared with fully supervised
learners with $100\%$ label proportions.
- Abstract(参考訳): 大規模データストリーム問題は、従来のコンピューティングプラットフォームではスケーラブルに処理できない高速な情報フローを指す。
この問題はまた、完全な教師付きアルゴリズムの展開を不可能にする高価なラベル付けコストを課す。
一方で、半教師付き大規模データストリームの問題は、従来のシングルノードコンピューティング環境で設計されているだけでなく、完全に教師付きアプローチになっているため、文献ではほとんど検討されていない。
本稿では,ラベル付きサンプルと大規模データストリームの不足に対処すべく,教師強制ネットワーク (wescatternet) を弱監視する手法を提案する。
wescatternetはapache sparkの分散コンピューティングプラットフォームで開発されており、並列コンピューティングステージ後のモデル圧縮のためのデータフリーなモデル融合戦略を備えている。
グローバルおよびローカルドリフト問題に対処するオープンネットワーク構造を備え、部分的にラベル付けされたデータストリームを処理するためのデータ拡張、アノテーション、自動修正(da^3$)メソッドを統合する。
WeScatterNetの性能は,ラベル比が25 %の大規模データストリーム6つの問題において数値的に評価される。
完全な教師付き学習者と比較しても、ラベル比率が100\%の高い競争性能を示す。
関連論文リスト
- Ravnest: Decentralized Asynchronous Training on Heterogeneous Devices [0.0]
Ravnestは、計算ノードをクラスタに効率的に整理することで、分散トレーニングを促進する。
遅延更新を伴うブロック構造最適化問題として,非同期SGD損失関数のフレーム化を行った。
論文 参考訳(メタデータ) (2024-01-03T13:07:07Z) - Dataset Quantization [72.61936019738076]
大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。
DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
論文 参考訳(メタデータ) (2023-08-21T07:24:29Z) - Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。
我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文 参考訳(メタデータ) (2022-10-14T01:42:05Z) - Distributed Sparse Feature Selection in Communication-Restricted
Networks [6.9257380648471765]
疎線形回帰と特徴選択のための新しい分散スキームを提案し,理論的に解析する。
データセット全体から因果次元を推定するために,ネットワーク内の情報共有をシンプルかつ効果的に行う手法を提案する。
論文 参考訳(メタデータ) (2021-11-02T05:02:24Z) - PDFNet: Pointwise Dense Flow Network for Urban-Scene Segmentation [0.0]
我々はポイントワイド高密度フローネットワーク(PDFNet)という新しい軽量アーキテクチャを提案する。
PDFNetでは、ネットワークのすべての部分へのスムーズな勾配流を可能にするために、密集、残留、複数ショートカット接続を使用します。
提案手法は,小規模なクラスや少数のデータレギュレーションにおいて,ベースラインを著しく上回る。
論文 参考訳(メタデータ) (2021-09-21T10:39:46Z) - DANCE: DAta-Network Co-optimization for Efficient Segmentation Model
Training and Inference [85.02494022662505]
DANCEは、効率的なセグメンテーションモデルのトレーニングと推論のための自動データネットワーク協調最適化である。
入力イメージを適応的にダウンサンプル/ドロップする自動データスライミングを統合し、画像の空間的複雑さによって導かれるトレーニング損失に対するそれに対応するコントリビューションを制御する。
実験と非難研究により、DANCEは効率的なセグメンテーションに向けて「オールウィン」を達成できることを示した。
論文 参考訳(メタデータ) (2021-07-16T04:58:58Z) - Towards Accurate Quantization and Pruning via Data-free Knowledge
Transfer [61.85316480370141]
我々は、訓練された大規模ネットワークからコンパクトネットワークへの知識の伝達により、データフリーな量子化とプルーニングを研究する。
データフリーなコンパクトネットワークは、トレーニングデータで訓練され、微調整されたネットワークに対して、競争精度を達成する。
論文 参考訳(メタデータ) (2020-10-14T18:02:55Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳(メタデータ) (2020-10-02T10:41:59Z) - Scaling-up Distributed Processing of Data Streams for Machine Learning [10.581140430698103]
本稿では,計算・帯域幅制限方式における大規模分散最適化に着目した手法を最近開発した。
i)分散凸問題、(ii)分散主成分分析、(ii)グローバル収束を許容する幾何学的構造に関する非問題である。
論文 参考訳(メタデータ) (2020-05-18T16:28:54Z) - LiteDenseNet: A Lightweight Network for Hyperspectral Image
Classification [2.696926374562295]
ハイパースペクトル画像分類のためのDenseNetに基づく軽量ネットワークアーキテクチャ(LiteDenseNet)を提案する。
GoogLeNetとPeleeNetにインスパイアされた我々は、入力の局所的およびグローバル的特徴を捉えるために、3次元の双方向の高密度層を設計する。
畳み込みは計算集約的な演算であるため、計算コストとパラメータサイズをさらに削減するためにグループ畳み込みを導入する。
論文 参考訳(メタデータ) (2020-04-17T08:38:52Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳(メタデータ) (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。