論文の概要: Rolling with the Punches: Resilient Contrastive Pre-training under Non-Stationary Drift
- arxiv url: http://arxiv.org/abs/2502.07620v2
- Date: Mon, 19 May 2025 13:59:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:10.448395
- Title: Rolling with the Punches: Resilient Contrastive Pre-training under Non-Stationary Drift
- Title（参考訳）: パンチによるローリング:非定常ドリフト下での弾力性コントラスト事前トレーニング
- Authors: Xiaoyu Yang, Jie Lu, En Yu,
- Abstract要約: 重要な課題は、動的データストリーム上のモデルの効果的な事前トレーニングである。
まず、従来の対照的な事前学習手法が、概念のドリフトに対して特に脆弱であることを明らかにする。
本稿では,因果的介入を取り入れた新しい手法であるResilient Contrastive Pre-training (RCP)を提案する。
- 参考スコア（独自算出の注目度）: 16.97188816362991
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The remarkable success of large-scale contrastive pre-training, fueled by vast and curated datasets, is encountering new frontiers as the scaling paradigm evolves. A critical emerging challenge is the effective pre-training of models on dynamic data streams characterized by concept drift, unpredictable changes in the underlying data distribution. This paper undertakes a foundational investigation of this issue. We first reveal that conventional contrastive pre-training methods are notably vulnerable to concept drift, leading to significant biases in the learned feature space of pre-trained models. To systematically analyze these effects, we construct a structural causal model that elucidates how drift acts as a confounder, distorting learned representations. Based on these causal insights, we propose Resilient Contrastive Pre-training (RCP), a novel method incorporating causal intervention. RCP introduces a causally-informed objective designed to mitigate drift-induced biases by leveraging targeted interventions. RCP is designed for simple and scalable implementation and exhibits notable adaptability, promoting robust pre-training on evolving data. Comprehensive experiments across diverse downstream tasks compellingly demonstrate that RCP effectively alleviates the detrimental impact of concept drift, yielding more resilient and generalizable representations.
- Abstract（参考訳）: 大規模なコントラスト付き事前トレーニングの成功は、大規模でキュレートされたデータセットによって支えられ、スケーリングのパラダイムが進化するにつれて、新たなフロンティアに遭遇している。
重要な課題は、コンセプトドリフトと、基礎となるデータ分布の予測不可能な変更を特徴とする、動的データストリーム上のモデルの効果的な事前トレーニングである。
本稿では,この問題について基礎研究を行う。
まず、従来の対照的な事前学習手法が、概念のドリフトに対して特に脆弱であることを明らかにし、事前学習モデルの学習特徴空間に有意なバイアスを与える。
これらの効果を体系的に解析するために,ドリフトが共同創設者としてどのように振る舞うかを解明する構造因果モデルを構築し,学習表現を歪ませる。
これらの因果的洞察に基づいて,因果的介入を取り入れた新しい手法であるResilient Contrastive Pre-Training (RCP)を提案する。
RCPは、ターゲットの介入を活用することにより、ドリフト誘発バイアスを軽減するために、因果的にインフォームされた目的を導入している。
RCPはシンプルでスケーラブルな実装のために設計されており、顕著な適応性を示し、進化するデータに対する堅牢な事前トレーニングを促進する。
様々な下流タスクに対する総合的な実験は、RCPがコンセプトドリフトの有害な影響を効果的に軽減し、より弾力的で一般化可能な表現をもたらすことを確実に示している。
関連論文リスト
- Physics-guided Active Sample Reweighting for Urban Flow Prediction [75.24539704456791]
都市フロー予測は、バス、タクシー、ライド駆動モデルといった交通サービスのスループットを見積もる、微妙な時間的モデリングである。
最近の予測解は、物理学誘導機械学習(PGML)の概念による改善をもたらす。
我々は、PN(atized Physics-guided Network)を開発し、P-GASR(Physical-guided Active Sample Reweighting)を提案する。
論文 参考訳（メタデータ） (2024-07-18T15:44:23Z) - Online Drift Detection with Maximum Concept Discrepancy [13.48123472458282]
最大概念差に基づく新しい概念ドリフト検出手法であるMDD-DDを提案する。
本手法は,概念埋め込みのコントラスト学習により,様々な形態のコンセプトドリフトを適応的に同定することができる。
論文 参考訳（メタデータ） (2024-07-07T13:57:50Z) - Liquid Neural Network-based Adaptive Learning vs. Incremental Learning for Link Load Prediction amid Concept Drift due to Network Failures [37.66676003679306]
概念の漂流に適応することは、機械学習において難しい課題である。
通信ネットワークでは、障害イベントの後に交通予報を行う際にこのような問題が生じる。
本稿では,適応学習アルゴリズム,すなわち,データパターンの急激な変化を,再学習を必要とせずに自己適応できる手法を提案する。
論文 参考訳（メタデータ） (2024-04-08T08:47:46Z) - Initialization Matters for Adversarial Transfer Learning [61.89451332757625]
我々は、逆向きに頑健な事前訓練モデルの必要性を発見する。
本稿では, 対向線形探索により得られる重み付き線形ヘッドを初期化する対向微調整のためのロバスト線形初期化法(RoLI)を提案する。
5つの異なる画像分類データセットにおいて,RoLIの有効性を実証し,新しい最先端結果を得た。
論文 参考訳（メタデータ） (2023-12-10T00:51:05Z) - MemDA: Forecasting Urban Time Series with Memory-based Drift Adaptation [24.284969264008733]
本稿では,データの周期性を考慮してドリフトを符号化するコンセプトドリフト問題に対する新しい都市時系列予測モデルを提案する。
我々の設計は最先端の手法よりも優れており、既存の予測バックボーンに十分に一般化することができる。
論文 参考訳（メタデータ） (2023-09-25T15:22:28Z) - SPOT: Scalable 3D Pre-training via Occupancy Prediction for Learning Transferable 3D Representations [76.45009891152178]
トレーニング-ファインタニングアプローチは、さまざまな下流データセットとタスクをまたいだトレーニング済みのバックボーンを微調整することで、ラベル付けの負担を軽減することができる。
本稿では, 一般表現学習が, 占領予測のタスクを通じて達成できることを, 初めて示す。
本研究は,LiDAR 点の理解を促進するとともに,LiDAR の事前訓練における今後の進歩の道を開くことを目的とする。
論文 参考訳（メタデータ） (2023-09-19T11:13:01Z) - Fine-tuning can cripple your foundation model; preserving features may be the solution [87.35911633187204]
タスク上の概念を認識できる微調整モデルの能力は、事前訓練されたモデルに比べて大幅に低下する。
我々は、下流タスクに関連する新しい概念を学習しながら、モデルが事前学習した知識を保存できる「textitLDIFS$」という新しい微調整手法を提案する。
論文 参考訳（メタデータ） (2023-08-25T11:49:51Z) - On the Trade-off of Intra-/Inter-class Diversity for Supervised
Pre-training [72.8087629914444]
教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。
トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
論文 参考訳（メタデータ） (2023-05-20T16:23:50Z) - FLARE: Detection and Mitigation of Concept Drift for Federated Learning
based IoT Deployments [2.7776688429637466]
FLAREは、トレーニングデータを条件付きで転送し、エッジとセンサのエンドポイント間でモデルをデプロイする、軽量なデュアルスケジューリングFLフレームワークである。
固定間隔スケジューリング法と比較して,FLAREはエッジノードとセンサノード間で交換されるデータ量を大幅に削減できることを示す。
少なくとも16倍のレイテンシで、コンセプトドリフトを反応的に検出できる。
論文 参考訳（メタデータ） (2023-05-15T10:09:07Z) - Unsupervised Unlearning of Concept Drift with Autoencoders [5.41354952642957]
コンセプトドリフトは、将来のサンプルのデータストリームに影響を与えるデータ分散の変化を指す。
本稿では,世界レベルでの教師なしおよびモデルに依存しないドリフト適応手法を提案する。
論文 参考訳（メタデータ） (2022-11-23T14:52:49Z) - Pre-training also Transfers Non-Robustness [20.226917627173126]
一般化への貢献が認められているにもかかわらず、事前学習は、事前訓練されたモデルから微調整されたモデルへの非破壊性も伝達する。
その結果, 損耗を緩和し, 一般化を保ち, 有効性を検証した。
論文 参考訳（メタデータ） (2021-06-21T11:16:13Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。