論文の概要: Online Deep Learning from Doubly-Streaming Data
- arxiv url: http://arxiv.org/abs/2204.11793v2
- Date: Wed, 27 Apr 2022 01:37:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-28 10:58:08.711722
- Title: Online Deep Learning from Doubly-Streaming Data
- Title（参考訳）: 二重ストリーミングデータによるオンラインディープラーニング
- Authors: Heng Lian and John Scovil Atwood and Bojian Hou and Jian Wu and Yi He
- Abstract要約: 本稿では,データストリームが常に進化する特徴空間によって記述される,二重ストリームデータによる新たなオンライン学習問題について検討する。
この課題を克服するもっともらしいアイデアは、進化する機能空間間の関係を確立することである。
従来の特徴空間と新しい特徴空間から情報を要約するために,共有潜在部分空間が発見された新しいOLD3Sパラダイムを提案する。
- 参考スコア（独自算出の注目度）: 17.119725174036653
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper investigates a new online learning problem with doubly-streaming
data, where the data streams are described by feature spaces that constantly
evolve, with new features emerging and old features fading away. The challenges
of this problem are two folds: 1) Data samples ceaselessly flowing in may carry
shifted patterns over time, requiring learners to update hence adapt
on-the-fly. 2) Newly emerging features are described by very few samples,
resulting in weak learners that tend to make error predictions. A plausible
idea to overcome the challenges is to establish relationship between the
pre-and-post evolving feature spaces, so that an online learner can leverage
the knowledge learned from the old features to better the learning performance
on the new features. Unfortunately, this idea does not scale up to
high-dimensional media streams with complex feature interplay, which suffers an
tradeoff between onlineness (biasing shallow learners) and
expressiveness(requiring deep learners). Motivated by this, we propose a novel
OLD^3S paradigm, where a shared latent subspace is discovered to summarize
information from the old and new feature spaces, building intermediate feature
mapping relationship. A key trait of OLD^3S is to treat the model capacity as a
learnable semantics, yields optimal model depth and parameters jointly, in
accordance with the complexity and non-linearity of the input data streams in
an online fashion. Both theoretical analyses and empirical studies substantiate
the viability and effectiveness of our proposal.
- Abstract（参考訳）: 本稿では,データストリームが常に進化する特徴空間によって記述され,新しい特徴や古い特徴が消えていくという,二重ストリームデータによる新たなオンライン学習問題を考察する。
この問題の課題は2つあります
1) 絶え間なく流れ込むデータサンプルは、時間とともに変化したパターンを持ち、学習者がそれをオンザフライで適応させる必要がある。
2) 新たな特徴はごく少数のサンプルによって説明され, 誤り予測を行う傾向の弱い学習者が現れる。
この課題を克服するための有効なアイデアは、進化する機能空間間の関係を確立することであり、オンライン学習者は、古い機能から学んだ知識を活用して、新しい機能の学習性能を向上させることができる。
残念ながら、このアイデアは複雑な機能間相互作用を持つ高次元メディアストリームにはスケールアップせず、オンライン性(浅い学習者のバイアス)と表現力(深い学習者が必要)のトレードオフに苦しむ。
そこで我々は,従来の特徴空間と新しい特徴空間の情報を要約し,中間的特徴マッピング関係を構築するために,共有潜在部分空間が発見された新しいOLD^3Sパラダイムを提案する。
OLD^3Sの重要な特徴は、学習可能なセマンティクスとしてモデルキャパシティを扱い、オンライン形式で入力データストリームの複雑さと非線形性に応じて最適なモデル深度とパラメータを共同で生成することである。
理論解析と実証研究はともに,提案の有効性と有効性を実証する。
関連論文リスト
- Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。
Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。
提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
論文 参考訳（メタデータ） (2024-11-11T07:36:19Z) - Function-space Parameterization of Neural Networks for Sequential Learning [22.095632118886225]
逐次学習パラダイムは、新しいデータの導入と事前知識の維持が困難であるため、勾配に基づくディープラーニングに課題を提起する。
本稿では,ニューラルネットワークを重み空間から関数空間に変換する手法を提案する。
実験により,継続学習における知識を保ち,新しいデータを効率的に活用できることが実証された。
論文 参考訳（メタデータ） (2024-03-16T14:00:04Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳（メタデータ） (2022-03-08T09:57:48Z) - New Insights on Reducing Abrupt Representation Change in Online
Continual Learning [69.05515249097208]
我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。
Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。
本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
論文 参考訳（メタデータ） (2022-03-08T01:37:00Z) - Design of Explainability Module with Experts in the Loop for
Visualization and Dynamic Adjustment of Continual Learning [5.039779583329608]
継続的な学習は、タスク変更シナリオで新しいタスクをシーケンシャルに学習することで、ニューラルネットワークの進化を可能にする。
アプリケーションにおけるデータストリームの新しい特徴は、継続的な学習には意味のない異常を含む可能性がある。
本稿では,次元の縮小,可視化,評価戦略といった手法に基づいて,ループのエキスパートによる説明可能性モジュールの概念設計を提案する。
論文 参考訳（メタデータ） (2022-02-14T15:00:22Z) - Adaptive Online Incremental Learning for Evolving Data Streams [4.3386084277869505]
最初の大きな困難はコンセプトドリフトであり、つまり、ストリーミングデータの確率分布はデータが到着するにつれて変化する。
第二の難しさは、破滅的な忘れ、すなわち、新しい知識を学ぶ前に学んだことを忘れることです。
我々の研究はこの観察に基づいており、これらの困難を克服しようと試みている。
論文 参考訳（メタデータ） (2022-01-05T14:25:53Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - Exploring Bayesian Deep Learning for Urgent Instructor Intervention Need
in MOOC Forums [58.221459787471254]
大規模なオープンオンラインコース(MOOC)は、その柔軟性のおかげで、eラーニングの一般的な選択肢となっている。
多くの学習者とその多様な背景から、リアルタイムサポートの提供は課税されている。
MOOCインストラクターの大量の投稿と高い作業負荷により、インストラクターが介入を必要とするすべての学習者を識別できる可能性は低いです。
本稿では,モンテカルロドロップアウトと変分推論という2つの手法を用いて,学習者によるテキスト投稿のベイジアン深層学習を初めて検討する。
論文 参考訳（メタデータ） (2021-04-26T15:12:13Z) - A case for new neural network smoothness constraints [34.373610792075205]
モデルスムースネスは,一般化,対向的堅牢性,生成的モデリング,強化学習を支援する有用な帰納的バイアスであることを示す。
この分野の新しい進歩は、データ、タスク、学習を滑らかさの定義に組み込む方法を見つけることに集中していると結論づけた。
論文 参考訳（メタデータ） (2020-12-14T22:07:32Z) - Continual Prototype Evolution: Learning Online from Non-Stationary Data
Streams [42.525141660788]
任意の時点で学習と予測を可能にするシステムを導入する。
継続的な学習における主要な仕事とは対照的に、データストリームはオンライン形式で処理される。
我々は,高度にバランスの取れない3つのデータストリームを含む8つのベンチマークで,最先端のパフォーマンスを顕著に比較した。
論文 参考訳（メタデータ） (2020-09-02T09:39:26Z) - Provable Meta-Learning of Linear Representations [114.656572506859]
我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。
また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
論文 参考訳（メタデータ） (2020-02-26T18:21:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。