論文の概要: Confounder-Free Continual Learning via Recursive Feature Normalization

• arxiv url: http://arxiv.org/abs/2507.09031v2
• Date: Wed, 06 Aug 2025 04:55:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 15:43:09.212022
• Title: Confounder-Free Continual Learning via Recursive Feature Normalization
• Title（参考訳）: 再帰的特徴正規化によるConfounder-free連続学習
• Authors: Yash Shah, Camila Gonzalez, Mohammad H. Abbasi, Qingyu Zhao, Kilian M. Pohl, Ehsan Adeli,
• Abstract要約: 共同設立者は、入力とターゲットの両方に影響を与える外部変数であり、急激な相関とバイアスのある予測をもたらす。 ディープラーニングアーキテクチャに組み込むことができるRecursive MDN層を紹介します。
• 参考スコア（独自算出の注目度）: 8.644711503479988
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Confounders are extraneous variables that affect both the input and the target, resulting in spurious correlations and biased predictions. There are recent advances in dealing with or removing confounders in traditional models, such as metadata normalization (MDN), where the distribution of the learned features is adjusted based on the study confounders. However, in the context of continual learning, where a model learns continuously from new data over time without forgetting, learning feature representations that are invariant to confounders remains a significant challenge. To remove their influence from intermediate feature representations, we introduce the Recursive MDN (R-MDN) layer, which can be integrated into any deep learning architecture, including vision transformers, and at any model stage. R-MDN performs statistical regression via the recursive least squares algorithm to maintain and continually update an internal model state with respect to changing distributions of data and confounding variables. Our experiments demonstrate that R-MDN promotes equitable predictions across population groups, both within static learning and across different stages of continual learning, by reducing catastrophic forgetting caused by confounder effects changing over time.
• Abstract（参考訳）: 共同設立者は、入力とターゲットの両方に影響を与える外部変数であり、急激な相関とバイアスのある予測をもたらす。 メタデータの正規化(MDN)など、従来のモデルにおける共同創設者の扱いや削除には、最近の進歩がある。 しかし、モデルが忘れずに新しいデータから継続的に学習する継続的学習の文脈では、共同創設者に不変な特徴表現を学習することが大きな課題である。 中間特徴表現からそれらの影響を取り除くため、視覚変換器を含むあらゆるディープラーニングアーキテクチャやモデルステージに組み込むことができるRecursive MDN(R-MDN)層を導入する。 R-MDNは再帰的最小二乗アルゴリズムを用いて統計的回帰を行い、データ分布の変化や変数の収束に関して内部モデル状態を維持し、継続的に更新する。 実験により, R-MDNは, 静的学習と連続学習の異なる段階の両方において, 時間とともに変化する共同設立効果による破滅的な忘れを減らし, 集団間の等質な予測を促進することを示した。

関連論文リスト

• U-aggregation: Unsupervised Aggregation of Multiple Learning Algorithms [4.871473117968554]
  新人口の強化とロバスト化のための教師なしモデルアグリゲーション手法U-アグリゲーションを提案する。 既存の教師付きモデルアグリゲーションや超学習者アプローチとは異なり、U-アグリゲーションは対象人口の観測されたラベルや成果を仮定しない。 複雑な形質の遺伝的リスク予測を高めるために,U凝集を用いた実世界の応用の可能性を示す。
  論文  参考訳（メタデータ） (2025-01-30T01:42:51Z)
• Regularized Neural Ensemblers [55.15643209328513]
  本研究では,正規化ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ランダムにベースモデル予測をドロップすることで,アンサンブルモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性の低い境界を提供し、過度な適合を減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Counterfactual Fairness through Transforming Data Orthogonal to Bias [7.109458605736819]
  我々は新しいデータ前処理アルゴリズムOrthogonal to Bias (OB)を提案する。 OBは、連続的な敏感な変数群の影響を排除し、機械学習アプリケーションにおける反ファクトフェアネスを促進するように設計されている。 OBはモデルに依存しないため、幅広い機械学習モデルやタスクに適用できる。
  論文  参考訳（メタデータ） (2024-03-26T16:40:08Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Neural Tangent Kernel Empowered Federated Learning [35.423391869982694]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに機械学習問題を共同で解決する、プライバシー保護パラダイムである。 本稿では,ニューラルタンジェントカーネル(NTK)フレームワークを応用した新しいFLパラダイムを提案する。 提案手法は,通信ラウンドの回数を桁違いに減らしながら,同じ精度を実現できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:58:58Z)
• Learning Neural Models for Natural Language Processing in the Face of Distributional Shift [10.990447273771592]
  特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。 データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。 この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。 データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
  論文  参考訳（メタデータ） (2021-09-03T14:29:20Z)
• Regularized Sequential Latent Variable Models with Adversarial Neural Networks [33.74611654607262]
  逐次データの変動をモデル化するために,RNN で高レベル潜時確率変数を使用する方法を提案する。 変動RNNモデルの学習に逆法を用いる可能性を探る。
  論文  参考訳（メタデータ） (2021-08-10T08:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。