論文の概要: Learning on non-stationary data with re-weighting

• arxiv url: http://arxiv.org/abs/2212.05908v1
• Date: Mon, 12 Dec 2022 14:16:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 17:32:00.582578
• Title: Learning on non-stationary data with re-weighting
• Title（参考訳）: 重み付けによる非定常データの学習
• Authors: Nishant Jain, Pradeep Shenoy
• Abstract要約: 本稿では,データの変化を複数の時間スケールで捉えることのできる時間的再重み付け関数のクラスを提案する。 9年間に分散した39万枚の画像からなる大規模実世界のデータセット上で,時間的再重み付け方式の有効性を検証した。
• 参考スコア（独自算出の注目度）: 3.42658286826597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many real-world learning scenarios face the challenge of slow concept drift, where data distributions change gradually over time. In this setting, we pose the problem of learning temporally sensitive importance weights for training data, in order to optimize predictive accuracy. We propose a class of temporal reweighting functions that can capture multiple timescales of change in the data, as well as instance-specific characteristics. We formulate a bi-level optimization criterion, and an associated meta-learning algorithm, by which these weights can be learned. In particular, our formulation trains an auxiliary network to output weights as a function of training instances, thereby compactly representing the instance weights. We validate our temporal reweighting scheme on a large real-world dataset of 39M images spread over a 9 year period. Our extensive experiments demonstrate the necessity of instance-based temporal reweighting in the dataset, and achieve significant improvements to classical batch-learning approaches. Further, our proposal easily generalizes to a streaming setting and shows significant gains compared to recent continual learning methods.
• Abstract（参考訳）: 多くの現実世界の学習シナリオは、時間の経過とともにデータ分布が徐々に変化するスローコンセプトドリフトの課題に直面している。 そこで本研究では,予測精度を最適化するために,時間に敏感なデータ重み付けを学習する問題を提案する。 本稿では,データの変化の複数の時間スケールをキャプチャできる時間的重み付け関数のクラスと,インスタンス固有の特性を提案する。 両レベルの最適化基準と関連するメタ学習アルゴリズムを定式化し、これらの重みを学習する。 特に,本定式化では,トレーニングインスタンスの関数として重みを出力する補助ネットワークを訓練し,インスタンス重みをコンパクトに表現する。 9年間にわたって拡散した39m画像の大規模な実世界データセット上で,時間的重み付け方式を検証する。 我々の広範な実験は、データセットにおけるインスタンスベースの時間的重み付けの必要性を実証し、古典的なバッチ学習アプローチに対する大幅な改善を実現する。 さらに,提案手法はストリーミング環境への一般化が容易であり,近年の連続学習手法に比べ,大幅な向上を示す。

関連論文リスト

• Machine Unlearning on Pre-trained Models by Residual Feature Alignment Using LoRA [15.542668474378633]
  本稿では,事前学習モデルを用いた新しい機械学習手法を提案する。 LoRAを利用して、モデルの中間機能を事前訓練された特徴と残像に分解する。 本手法は,保持集合上のゼロ残差を学習し,未学習集合上でシフト残差を学習することを目的としている。
  論文  参考訳（メタデータ） (2024-11-13T08:56:35Z)
• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Adaptive Memory Replay for Continual Learning [29.333341368722653]
  新たなデータが利用可能になれば、ファンデーションモデルの更新は破滅的な忘れに繋がる」 連続学習のための適応型メモリリプレイの枠組みを導入し、過去のデータのサンプリングをマルチアームバンディット問題と表現する。 我々は,学習効率を犠牲にすることなく,最大10%の忘れ込みを低減しつつ,高い性能を維持するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-18T22:01:56Z)
• Bad Students Make Great Teachers: Active Learning Accelerates Large-Scale Visual Understanding [9.112203072394648]
  パワーロースケーリングは、均一サンプリングによる大規模トレーニングが違法に遅いことを示している。 アクティブな学習手法は、最も関係のある事例に基づいて学習を優先順位付けすることで、データの効率を向上させることを目的としている。
  論文  参考訳（メタデータ） (2023-12-08T19:26:13Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Correlated Time Series Self-Supervised Representation Learning via Spatiotemporal Bootstrapping [13.988624652592259]
  時系列分析は多くの実業界で重要な役割を担っている。 本稿では,個別インスタンスを対象とした時間段階表現学習フレームワークを提案する。 学習した表現の上に訓練された線形回帰モデルにより、ほとんどの場合、我々のモデルは最高のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-06-12T09:42:16Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)
• One Backward from Ten Forward, Subsampling for Large-Scale Deep Learning [35.0157090322113]
  大規模機械学習システムは、しばしばプロダクション環境からの膨大なデータで継続的に訓練される。 ストリーミングデータの量は、リアルタイムのトレーニングサブシステムにとって重要な課題であり、アドホックサンプリングが標準のプラクティスである。 我々は,これらの前方パスからインスタンス毎の情報量を一定に記録することを提案する。 追加情報は、前方および後方のパスに参加するデータインスタンスの選択を測定可能に改善します。
  論文  参考訳（メタデータ） (2021-04-27T11:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。