論文の概要: Aux-Drop: Handling Haphazard Inputs in Online Learning Using Auxiliary Dropouts

• arxiv url: http://arxiv.org/abs/2303.05155v2
• Date: Wed, 31 May 2023 20:38:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-03 00:05:09.473575
• Title: Aux-Drop: Handling Haphazard Inputs in Online Learning Using Auxiliary Dropouts
• Title（参考訳）: Aux-Drop:補助ドロップアウトを用いたオンライン学習におけるハファザード入力処理
• Authors: Rohit Agarwal, Deepak Gupta, Alexander Horsch and Dilip K. Prasad
• Abstract要約: Aux-Dropはオンライン学習のための補助的なドロップアウト正規化戦略である。 従来のドロップアウト正規化方式をハファザード入力特徴空間に適用する。 特に補助的特徴と基本特徴の共適応を防ぐのに役立ちます。
• 参考スコア（独自算出の注目度）: 74.36807934829629
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many real-world applications based on online learning produce streaming data that is haphazard in nature, i.e., contains missing features, features becoming obsolete in time, the appearance of new features at later points in time and a lack of clarity on the total number of input features. These challenges make it hard to build a learnable system for such applications, and almost no work exists in deep learning that addresses this issue. In this paper, we present Aux-Drop, an auxiliary dropout regularization strategy for online learning that handles the haphazard input features in an effective manner. Aux-Drop adapts the conventional dropout regularization scheme for the haphazard input feature space ensuring that the final output is minimally impacted by the chaotic appearance of such features. It helps to prevent the co-adaptation of especially the auxiliary and base features, as well as reduces the strong dependence of the output on any of the auxiliary inputs of the model. This helps in better learning for scenarios where certain features disappear in time or when new features are to be modelled. The efficacy of Aux-Drop has been demonstrated through extensive numerical experiments on SOTA benchmarking datasets that include Italy Power Demand, HIGGS, SUSY and multiple UCI datasets. The code is available at https://github.com/Rohit102497/Aux-Drop.
• Abstract（参考訳）: オンライン学習に基づく現実世界のアプリケーションの多くは、本質的にハザードなストリーミングデータを生成する。すなわち、欠落した機能、時代遅れになった機能、後続の新機能の出現、入力機能の総数に対する明確さの欠如などである。 これらの課題は、そのようなアプリケーションのための学習可能なシステムを構築するのを難しくし、この問題に対処するディープラーニングの作業はほとんどありません。 本稿では,haphazard 入力機能を効果的に扱うオンライン学習のための補助的ドロップアウト正規化戦略である aux-drop を提案する。 aux-dropは、haphazard入力特徴空間の従来のドロップアウト正規化スキームを採用しており、最終的な出力がそのような特徴のカオス的外観によって最小限の影響を受けることを保証している。 これは、特に補助的特徴と基底的特徴の共適応を防止し、モデルの任意の補助的な入力に対する出力の強い依存を減らすのに役立つ。 これにより、特定の機能が時間内に消失したり、新機能がモデル化される場合のシナリオの学習が向上する。 Aux-Dropの有効性は、イタリア電力需要、HIGGS、SUSY、複数のUCIデータセットを含むSOTAベンチマークデータセットに関する広範な数値実験を通じて実証されている。 コードはhttps://github.com/rohit102497/aux-dropで入手できる。

関連論文リスト

• Granularity Matters in Long-Tail Learning [62.30734737735273]
  より粒度の細かいデータセットは、データの不均衡の影響を受けにくい傾向があります。 既存のクラスと視覚的に類似したオープンセット補助クラスを導入し、頭と尾の両方の表現学習を強化することを目的とした。 補助授業の圧倒的な存在がトレーニングを混乱させるのを防ぐために,近隣のサイレンシング障害を導入する。
  論文  参考訳（メタデータ） (2024-10-21T13:06:21Z)
• Adaptive Adapter Routing for Long-Tailed Class-Incremental Learning [55.384428765798496]
  新しいデータは、Eコマースプラットフォームレビューのような、長期にわたる流通を示す。 これは、忘れずに不均衡なデータを連続的なモデルで学習する必要がある。 LTCILの例として,AdaPtive Adapter Routing (APART) を提案する。
  論文  参考訳（メタデータ） (2024-09-11T17:52:00Z)
• Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
  現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。 再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。 MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
  論文  参考訳（メタデータ） (2024-04-23T16:01:33Z)
• Contrastive Example-Based Control [163.6482792040079]
  報酬関数ではなく多段階遷移の暗黙的なモデルを学ぶオフラインのサンプルベース制御法を提案する。 状態ベースおよび画像ベースのオフライン制御タスクの範囲で、学習された報酬関数を使用するベースラインよりも優れています。
  論文  参考訳（メタデータ） (2023-07-24T19:43:22Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Adaptive Online Incremental Learning for Evolving Data Streams [4.3386084277869505]
  最初の大きな困難はコンセプトドリフトであり、つまり、ストリーミングデータの確率分布はデータが到着するにつれて変化する。 第二の難しさは、破滅的な忘れ、すなわち、新しい知識を学ぶ前に学んだことを忘れることです。 我々の研究はこの観察に基づいており、これらの困難を克服しようと試みている。
  論文  参考訳（メタデータ） (2022-01-05T14:25:53Z)
• Online Feature Selection for Efficient Learning in Networked Systems [3.13468877208035]
  データ駆動エンジニアリングのための現在のAI/MLメソッドは、主にオフラインでトレーニングされたモデルを使用する。 多数の利用可能なデータソースから小さな特徴セットを選択するオンライン安定特徴セットアルゴリズム(OSFS)を提案する。 OSFSは、調査されたすべてのデータセットに対して、1～3桁の規模で設定された機能のサイズを大幅に削減する。
  論文  参考訳（メタデータ） (2021-12-15T16:31:59Z)
• Contextual HyperNetworks for Novel Feature Adaptation [43.49619456740745]
  Contextual HyperNetwork(CHN)は、ベースモデルを新機能に拡張するためのパラメータを生成する。 予測時、CHNはニューラルネットワークを通る単一のフォワードパスのみを必要とし、大幅なスピードアップをもたらす。 本システムでは,既存のインプテーションやメタラーニングベースラインよりも,新しい特徴のマイズショット学習性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-04-12T23:19:49Z)
• Hybrid-Attention Guided Network with Multiple Resolution Features for Person Re-Identification [30.285126447140254]
  本稿では,ハイレベルな特徴を学習する際の情報損失を低減するために,ハイレベルな埋め込みと低レベルな埋め込みを融合した新しい人物再IDモデルを提案する。 また,対象物に関するより識別的な特徴を抽出することを目的とした,空間的およびチャネル的注意機構をモデルに導入する。
  論文  参考訳（メタデータ） (2020-09-16T08:12:42Z)
• Auxiliary Network: Scalable and agile online learning for dynamic system with inconsistently available inputs [11.217729367179126]
  ストリーム分類法は、入力特徴の数が固定され、常に受信されると仮定する。 我々は、スケーラブルでアジャイルなAuxiliary Network(Aux-Net)と呼ばれる新しいディープラーニングベースのモデルを提案する。
  論文  参考訳（メタデータ） (2020-08-26T21:37:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。