論文の概要: Causal-Informed Contrastive Learning: Towards Bias-Resilient Pre-training under Concept Drift

• arxiv url: http://arxiv.org/abs/2502.07620v1
• Date: Tue, 11 Feb 2025 15:09:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 18:22:48.208516
• Title: Causal-Informed Contrastive Learning: Towards Bias-Resilient Pre-training under Concept Drift
• Title（参考訳）: 因果的インフォームド・コントラスト学習:概念ドリフト下でのバイアス耐性事前学習に向けて
• Authors: Xiaoyu Yang, Jie Lu, En Yu,
• Abstract要約: 本稿では,概念ドリフトのデータストリームに対応するために,レジリエントなコントラスト事前学習手法を提案する。 様々な下流タスクの実験は、我々のレジリエントなコントラスト事前学習が、ドリフトデータストリームの概念から生じるバイアスを効果的に軽減することを示した。
• 参考スコア（独自算出の注目度）: 16.97188816362991
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The evolution of large-scale contrastive pre-training propelled by top-tier datasets has reached a transition point in the scaling law. Consequently, sustaining and enhancing a model's pre-training capabilities in drift environments have surfaced as a notable challenge. In this paper, we initially uncover that contrastive pre-training methods are significantly impacted by concept drift wherein distributions change unpredictably, resulting in notable biases in the feature space of the pre-trained model. Empowered by causal inference, we construct a structural causal graph to analyze the impact of concept drift to contrastive pre-training systemically, and propose the causal interventional contrastive objective. Upon achieving this, we devise a resilient contrastive pre-training approach to accommodate the data stream of concept drift, with simple and scalable implementation. Extensive experiments on various downstream tasks demonstrate our resilient contrastive pre-training effectively mitigates the bias stemming from the concept drift data stream. Codes are available at https://anonymous.4open.science/r/ResilientCL/.
• Abstract（参考訳）: 上位層データセットによって推進される大規模コントラスト事前学習の進化は、スケーリング法則の移行点に達した。 その結果,ドリフト環境におけるモデルの事前学習能力の維持と向上が顕著な課題として浮上した。 本稿では,まず,予測不可能な分布変化が生じ,事前学習モデルの特徴空間に顕著なバイアスが生じるコンセプトドリフトによって,対照的な事前学習手法が著しく影響していることを明らかにする。 因果推論を応用した構造的因果グラフを構築し,概念のドリフトがコントラッシブ事前学習システムに与える影響を解析し,因果介入のコントラスト目的を提案する。 これを達成するために、私たちは、シンプルでスケーラブルな実装でコンセプトドリフトのデータストリームに対応するために、レジリエントなコントラスト事前学習アプローチを考案しました。 様々な下流タスクに関する大規模な実験は、我々のレジリエントなコントラスト事前学習が、ドリフトデータストリームの概念から生じるバイアスを効果的に軽減することを示した。 コードはhttps://anonymous.4open.science/r/ResilientCL/で公開されている。

関連論文リスト

• Walking the Tightrope: Disentangling Beneficial and Detrimental Drifts in Non-Stationary Custom-Tuning [16.97188816362991]
  本稿では,マルチモーダル大言語モデル(MLLM)において,批判的だが見落とされがちな現象を明らかにする。 我々は、概念ドリフト理論とRFTプロセスの間の理論的橋渡しを確立する先駆者である。 本稿では,有害な概念ドリフトから有益な分布適応を体系的に切り離す新しい対物対応RFTを提案する。
  論文  参考訳（メタデータ） (2025-05-19T13:13:38Z)
• Trajectory Entropy Reinforcement Learning for Predictable and Robust Control [12.289021814766539]
  強化学習におけるシンプルな政策に対する新たな帰納的バイアスを導入する。 単純な帰納バイアスは、作用軌跡全体のエントロピーを最小化することによって導入される。 学習方針がより循環的かつ一貫した行動軌跡を生み出すことを示す。
  論文  参考訳（メタデータ） (2025-05-07T07:41:29Z)
• datadriftR: An R Package for Concept Drift Detection in Predictive Models [0.0]
  本稿では,コンセプトドリフトを検出するためのRパッケージであるドリフト器を紹介する。 ドリフト検出とドリフトの背後にある原因の理解を深めることのできるプロファイルドリフト検出(PDD)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-15T20:59:49Z)
• Physics-guided Active Sample Reweighting for Urban Flow Prediction [75.24539704456791]
  都市フロー予測は、バス、タクシー、ライド駆動モデルといった交通サービスのスループットを見積もる、微妙な時間的モデリングである。 最近の予測解は、物理学誘導機械学習(PGML)の概念による改善をもたらす。 我々は、PN(atized Physics-guided Network)を開発し、P-GASR(Physical-guided Active Sample Reweighting)を提案する。
  論文  参考訳（メタデータ） (2024-07-18T15:44:23Z)
• Online Drift Detection with Maximum Concept Discrepancy [13.48123472458282]
  最大概念差に基づく新しい概念ドリフト検出手法であるMDD-DDを提案する。 本手法は,概念埋め込みのコントラスト学習により,様々な形態のコンセプトドリフトを適応的に同定することができる。
  論文  参考訳（メタデータ） (2024-07-07T13:57:50Z)
• Liquid Neural Network-based Adaptive Learning vs. Incremental Learning for Link Load Prediction amid Concept Drift due to Network Failures [37.66676003679306]
  概念の漂流に適応することは、機械学習において難しい課題である。 通信ネットワークでは、障害イベントの後に交通予報を行う際にこのような問題が生じる。 本稿では,適応学習アルゴリズム,すなわち,データパターンの急激な変化を,再学習を必要とせずに自己適応できる手法を提案する。
  論文  参考訳（メタデータ） (2024-04-08T08:47:46Z)
• Initialization Matters for Adversarial Transfer Learning [61.89451332757625]
  我々は、逆向きに頑健な事前訓練モデルの必要性を発見する。 本稿では, 対向線形探索により得られる重み付き線形ヘッドを初期化する対向微調整のためのロバスト線形初期化法(RoLI)を提案する。 5つの異なる画像分類データセットにおいて,RoLIの有効性を実証し,新しい最先端結果を得た。
  論文  参考訳（メタデータ） (2023-12-10T00:51:05Z)
• MemDA: Forecasting Urban Time Series with Memory-based Drift Adaptation [24.284969264008733]
  本稿では,データの周期性を考慮してドリフトを符号化するコンセプトドリフト問題に対する新しい都市時系列予測モデルを提案する。 我々の設計は最先端の手法よりも優れており、既存の予測バックボーンに十分に一般化することができる。
  論文  参考訳（メタデータ） (2023-09-25T15:22:28Z)
• SPOT: Scalable 3D Pre-training via Occupancy Prediction for Learning Transferable 3D Representations [76.45009891152178]
  トレーニング-ファインタニングアプローチは、さまざまな下流データセットとタスクをまたいだトレーニング済みのバックボーンを微調整することで、ラベル付けの負担を軽減することができる。 本稿では, 一般表現学習が, 占領予測のタスクを通じて達成できることを, 初めて示す。 本研究は,LiDAR 点の理解を促進するとともに,LiDAR の事前訓練における今後の進歩の道を開くことを目的とする。
  論文  参考訳（メタデータ） (2023-09-19T11:13:01Z)
• Fine-tuning can cripple your foundation model; preserving features may be the solution [87.35911633187204]
  タスク上の概念を認識できる微調整モデルの能力は、事前訓練されたモデルに比べて大幅に低下する。 我々は、下流タスクに関連する新しい概念を学習しながら、モデルが事前学習した知識を保存できる「textitLDIFS$」という新しい微調整手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T11:49:51Z)
• Alleviating the Effect of Data Imbalance on Adversarial Training [26.36714114672729]
  長い尾の分布に従うデータセットの逆トレーニングについて検討する。 我々は、新しい対人訓練フレームワーク、Re-balancing Adversarial Training (REAT)を提案する。
  論文  参考訳（メタデータ） (2023-07-14T07:01:48Z)
• On the Trade-off of Intra-/Inter-class Diversity for Supervised Pre-training [72.8087629914444]
  教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。 トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
  論文  参考訳（メタデータ） (2023-05-20T16:23:50Z)
• FLARE: Detection and Mitigation of Concept Drift for Federated Learning based IoT Deployments [2.7776688429637466]
  FLAREは、トレーニングデータを条件付きで転送し、エッジとセンサのエンドポイント間でモデルをデプロイする、軽量なデュアルスケジューリングFLフレームワークである。 固定間隔スケジューリング法と比較して,FLAREはエッジノードとセンサノード間で交換されるデータ量を大幅に削減できることを示す。 少なくとも16倍のレイテンシで、コンセプトドリフトを反応的に検出できる。
  論文  参考訳（メタデータ） (2023-05-15T10:09:07Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Unsupervised Unlearning of Concept Drift with Autoencoders [5.41354952642957]
  コンセプトドリフトは、将来のサンプルのデータストリームに影響を与えるデータ分散の変化を指す。 本稿では,世界レベルでの教師なしおよびモデルに依存しないドリフト適応手法を提案する。
  論文  参考訳（メタデータ） (2022-11-23T14:52:49Z)
• Rethinking Importance Weighting for Transfer Learning [71.81262398144946]
  教師あり学習における主要な前提は、トレーニングとテストデータが同じ確率分布に従うことである。 現実の機械学習タスクはますます複雑になりつつあるため、このような課題に対処するための新しいアプローチが検討されている。
  論文  参考訳（メタデータ） (2021-12-19T14:35:25Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)
• Pre-training also Transfers Non-Robustness [20.226917627173126]
  一般化への貢献が認められているにもかかわらず、事前学習は、事前訓練されたモデルから微調整されたモデルへの非破壊性も伝達する。 その結果, 損耗を緩和し, 一般化を保ち, 有効性を検証した。
  論文  参考訳（メタデータ） (2021-06-21T11:16:13Z)
• Improving White-box Robustness of Pre-processing Defenses via Joint Adversarial Training [106.34722726264522]
  対向騒音の干渉を軽減するため,様々な対向防御技術が提案されている。 プレプロセス法は、ロバストネス劣化効果に悩まされることがある。 この負の効果の潜在的な原因は、敵の訓練例が静的であり、前処理モデルとは独立していることである。 本稿では,JATP(Joint Adversarial Training Based Pre-processing)防衛法を提案する。
  論文  参考訳（メタデータ） (2021-06-10T01:45:32Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。