論文の概要: Instance-Conditional Timescales of Decay for Non-Stationary Learning
- arxiv url: http://arxiv.org/abs/2212.05908v2
- Date: Wed, 20 Dec 2023 09:26:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 22:22:05.662534
- Title: Instance-Conditional Timescales of Decay for Non-Stationary Learning
- Title（参考訳）: 非定常学習における崩壊のインスタンス条件時間スケール
- Authors: Nishant Jain, Pradeep Shenoy
- Abstract要約: スローコンセプトドリフトは、機械学習システムにおいて、ユビキタスだが未研究の課題である。
大規模トレーニングウィンドウ上でのインスタンスの重要さのバランスをとるための最適化型アプローチを提案する。
9年間にわたる39万枚の写真からなる大規模な実世界のデータセットの実験では、精度が15%まで向上した。
- 参考スコア（独自算出の注目度）: 11.90763787610444
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Slow concept drift is a ubiquitous, yet under-studied problem in practical
machine learning systems. In such settings, although recent data is more
indicative of future data, naively prioritizing recent instances runs the risk
of losing valuable information from the past. We propose an optimization-driven
approach towards balancing instance importance over large training windows.
First, we model instance relevance using a mixture of multiple timescales of
decay, allowing us to capture rich temporal trends. Second, we learn an
auxiliary scorer model that recovers the appropriate mixture of timescales as a
function of the instance itself. Finally, we propose a nested optimization
objective for learning the scorer, by which it maximizes forward transfer for
the learned model. Experiments on a large real-world dataset of 39M photos over
a 9 year period show upto 15% relative gains in accuracy compared to other
robust learning baselines. We replicate our gains on two collections of
real-world datasets for non-stationary learning, and extend our work to
continual learning settings where, too, we beat SOTA methods by large margins.
- Abstract（参考訳）: slow concept driftは、実用的な機械学習システムにおいて、ユビキタスだが未熟な問題である。
このような設定では、最近のデータはより将来のデータを示すが、最近のインスタンスを無意識に優先順位付けすることで、過去から貴重な情報を失うリスクがある。
大規模トレーニングウィンドウ上でインスタンスの重要性のバランスをとるための最適化駆動アプローチを提案する。
まず、複数の時間スケールの崩壊を混合してインスタンス関連性をモデル化し、豊富な時間的傾向を捉える。
第二に、インスタンス自体の関数として適切な時間スケールの混合を回復する補助スコアラーモデルを学ぶ。
最後に,学習モデルのフォワード転送を最大化する,スコアラー学習のためのネスト最適化目標を提案する。
9年間で39億枚の写真からなる大規模な実世界のデータセットでの実験は、他の堅牢な学習ベースラインと比較して、15%の精度向上を示している。
私たちは、非定常学習のための現実世界のデータセットの2つのコレクションで成果を再現し、作業を継続的な学習環境に拡張します。
関連論文リスト
- Machine Unlearning on Pre-trained Models by Residual Feature Alignment Using LoRA [15.542668474378633]
本稿では,事前学習モデルを用いた新しい機械学習手法を提案する。
LoRAを利用して、モデルの中間機能を事前訓練された特徴と残像に分解する。
本手法は,保持集合上のゼロ残差を学習し,未学習集合上でシフト残差を学習することを目的としている。
論文 参考訳（メタデータ） (2024-11-13T08:56:35Z) - Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - Adaptive Memory Replay for Continual Learning [29.333341368722653]
新たなデータが利用可能になれば、ファンデーションモデルの更新は破滅的な忘れに繋がる」
連続学習のための適応型メモリリプレイの枠組みを導入し、過去のデータのサンプリングをマルチアームバンディット問題と表現する。
我々は,学習効率を犠牲にすることなく,最大10%の忘れ込みを低減しつつ,高い性能を維持するアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2024-04-18T22:01:56Z) - Bad Students Make Great Teachers: Active Learning Accelerates Large-Scale Visual Understanding [9.112203072394648]
パワーロースケーリングは、均一サンプリングによる大規模トレーニングが違法に遅いことを示している。
アクティブな学習手法は、最も関係のある事例に基づいて学習を優先順位付けすることで、データの効率を向上させることを目的としている。
論文 参考訳（メタデータ） (2023-12-08T19:26:13Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-12-07T07:17:24Z) - Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。
本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文 参考訳（メタデータ） (2023-11-29T05:33:28Z) - Correlated Time Series Self-Supervised Representation Learning via
Spatiotemporal Bootstrapping [13.988624652592259]
時系列分析は多くの実業界で重要な役割を担っている。
本稿では,個別インスタンスを対象とした時間段階表現学習フレームワークを提案する。
学習した表現の上に訓練された線形回帰モデルにより、ほとんどの場合、我々のモデルは最高のパフォーマンスを示す。
論文 参考訳（メタデータ） (2023-06-12T09:42:16Z) - Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
メトリクス学習はコンピュータビジョンの基本的な問題である。
蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。
特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
論文 参考訳（メタデータ） (2023-03-30T03:22:52Z) - Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。
対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。
本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
論文 参考訳（メタデータ） (2023-03-21T15:02:50Z) - Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。
共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。
さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
論文 参考訳（メタデータ） (2022-07-08T10:25:47Z) - One Backward from Ten Forward, Subsampling for Large-Scale Deep Learning [35.0157090322113]
大規模機械学習システムは、しばしばプロダクション環境からの膨大なデータで継続的に訓練される。
ストリーミングデータの量は、リアルタイムのトレーニングサブシステムにとって重要な課題であり、アドホックサンプリングが標準のプラクティスである。
我々は,これらの前方パスからインスタンス毎の情報量を一定に記録することを提案する。
追加情報は、前方および後方のパスに参加するデータインスタンスの選択を測定可能に改善します。
論文 参考訳（メタデータ） (2021-04-27T11:29:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。