論文の概要: Causal-Informed Contrastive Learning: Towards Bias-Resilient Pre-training under Concept Drift

• arxiv url: http://arxiv.org/abs/2502.07620v1
• Date: Tue, 11 Feb 2025 15:09:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:08:57.837656
• Title: Causal-Informed Contrastive Learning: Towards Bias-Resilient Pre-training under Concept Drift
• Title（参考訳）: 因果的インフォームド・コントラスト学習:概念ドリフト下でのバイアス耐性事前学習に向けて
• Authors: Xiaoyu Yang, Jie Lu, En Yu,
• Abstract要約: 本稿では,概念ドリフトのデータストリームに対応するために,レジリエントなコントラスト事前学習手法を提案する。 様々な下流タスクの実験は、我々のレジリエントなコントラスト事前学習が、ドリフトデータストリームの概念から生じるバイアスを効果的に軽減することを示した。
• 参考スコア（独自算出の注目度）: 16.97188816362991
• License:
• Abstract: The evolution of large-scale contrastive pre-training propelled by top-tier datasets has reached a transition point in the scaling law. Consequently, sustaining and enhancing a model's pre-training capabilities in drift environments have surfaced as a notable challenge. In this paper, we initially uncover that contrastive pre-training methods are significantly impacted by concept drift wherein distributions change unpredictably, resulting in notable biases in the feature space of the pre-trained model. Empowered by causal inference, we construct a structural causal graph to analyze the impact of concept drift to contrastive pre-training systemically, and propose the causal interventional contrastive objective. Upon achieving this, we devise a resilient contrastive pre-training approach to accommodate the data stream of concept drift, with simple and scalable implementation. Extensive experiments on various downstream tasks demonstrate our resilient contrastive pre-training effectively mitigates the bias stemming from the concept drift data stream. Codes are available at https://anonymous.4open.science/r/ResilientCL/.
• Abstract（参考訳）: 上位層データセットによって推進される大規模コントラスト事前学習の進化は、スケーリング法則の移行点に達した。 その結果,ドリフト環境におけるモデルの事前学習能力の維持と向上が顕著な課題として浮上した。 本稿では,まず,予測不可能な分布変化が生じ,事前学習モデルの特徴空間に顕著なバイアスが生じるコンセプトドリフトによって,対照的な事前学習手法が著しく影響していることを明らかにする。 因果推論を応用した構造的因果グラフを構築し,概念のドリフトがコントラッシブ事前学習システムに与える影響を解析し,因果介入のコントラスト目的を提案する。 これを達成するために、私たちは、シンプルでスケーラブルな実装でコンセプトドリフトのデータストリームに対応するために、レジリエントなコントラスト事前学習アプローチを考案しました。 様々な下流タスクに関する大規模な実験は、我々のレジリエントなコントラスト事前学習が、ドリフトデータストリームの概念から生じるバイアスを効果的に軽減することを示した。 コードはhttps://anonymous.4open.science/r/ResilientCL/で公開されている。

関連論文リスト

• Physics-guided Active Sample Reweighting for Urban Flow Prediction [75.24539704456791]
  都市フロー予測は、バス、タクシー、ライド駆動モデルといった交通サービスのスループットを見積もる、微妙な時間的モデリングである。 最近の予測解は、物理学誘導機械学習(PGML)の概念による改善をもたらす。 我々は、PN(atized Physics-guided Network)を開発し、P-GASR(Physical-guided Active Sample Reweighting)を提案する。
  論文  参考訳（メタデータ） (2024-07-18T15:44:23Z)
• Online Drift Detection with Maximum Concept Discrepancy [13.48123472458282]
  最大概念差に基づく新しい概念ドリフト検出手法であるMDD-DDを提案する。 本手法は,概念埋め込みのコントラスト学習により,様々な形態のコンセプトドリフトを適応的に同定することができる。
  論文  参考訳（メタデータ） (2024-07-07T13:57:50Z)
• Liquid Neural Network-based Adaptive Learning vs. Incremental Learning for Link Load Prediction amid Concept Drift due to Network Failures [37.66676003679306]
  概念の漂流に適応することは、機械学習において難しい課題である。 通信ネットワークでは、障害イベントの後に交通予報を行う際にこのような問題が生じる。 本稿では,適応学習アルゴリズム,すなわち,データパターンの急激な変化を,再学習を必要とせずに自己適応できる手法を提案する。
  論文  参考訳（メタデータ） (2024-04-08T08:47:46Z)
• Initialization Matters for Adversarial Transfer Learning [61.89451332757625]
  我々は、逆向きに頑健な事前訓練モデルの必要性を発見する。 本稿では, 対向線形探索により得られる重み付き線形ヘッドを初期化する対向微調整のためのロバスト線形初期化法(RoLI)を提案する。 5つの異なる画像分類データセットにおいて,RoLIの有効性を実証し,新しい最先端結果を得た。
  論文  参考訳（メタデータ） (2023-12-10T00:51:05Z)
• MemDA: Forecasting Urban Time Series with Memory-based Drift Adaptation [24.284969264008733]
  本稿では,データの周期性を考慮してドリフトを符号化するコンセプトドリフト問題に対する新しい都市時系列予測モデルを提案する。 我々の設計は最先端の手法よりも優れており、既存の予測バックボーンに十分に一般化することができる。
  論文  参考訳（メタデータ） (2023-09-25T15:22:28Z)
• SPOT: Scalable 3D Pre-training via Occupancy Prediction for Learning Transferable 3D Representations [76.45009891152178]
  トレーニング-ファインタニングアプローチは、さまざまな下流データセットとタスクをまたいだトレーニング済みのバックボーンを微調整することで、ラベル付けの負担を軽減することができる。 本稿では, 一般表現学習が, 占領予測のタスクを通じて達成できることを, 初めて示す。 本研究は,LiDAR 点の理解を促進するとともに,LiDAR の事前訓練における今後の進歩の道を開くことを目的とする。
  論文  参考訳（メタデータ） (2023-09-19T11:13:01Z)
• Fine-tuning can cripple your foundation model; preserving features may be the solution [87.35911633187204]
  タスク上の概念を認識できる微調整モデルの能力は、事前訓練されたモデルに比べて大幅に低下する。 我々は、下流タスクに関連する新しい概念を学習しながら、モデルが事前学習した知識を保存できる「textitLDIFS$」という新しい微調整手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T11:49:51Z)
• On the Trade-off of Intra-/Inter-class Diversity for Supervised Pre-training [72.8087629914444]
  教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。 トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
  論文  参考訳（メタデータ） (2023-05-20T16:23:50Z)
• FLARE: Detection and Mitigation of Concept Drift for Federated Learning based IoT Deployments [2.7776688429637466]
  FLAREは、トレーニングデータを条件付きで転送し、エッジとセンサのエンドポイント間でモデルをデプロイする、軽量なデュアルスケジューリングFLフレームワークである。 固定間隔スケジューリング法と比較して,FLAREはエッジノードとセンサノード間で交換されるデータ量を大幅に削減できることを示す。 少なくとも16倍のレイテンシで、コンセプトドリフトを反応的に検出できる。
  論文  参考訳（メタデータ） (2023-05-15T10:09:07Z)
• Pre-training also Transfers Non-Robustness [20.226917627173126]
  一般化への貢献が認められているにもかかわらず、事前学習は、事前訓練されたモデルから微調整されたモデルへの非破壊性も伝達する。 その結果, 損耗を緩和し, 一般化を保ち, 有効性を検証した。
  論文  参考訳（メタデータ） (2021-06-21T11:16:13Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。