論文の概要: Controlling for Omitted Variable Bias in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2608.25930v1
• Date: Wed, 26 Aug 2026 15:42:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.890387
• Title: Controlling for Omitted Variable Bias in Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークにおけるオミテッド可変バイアスの制御
• Abstract要約: 制御変数は、既知の共創者の省略変数バイアスを考慮するために、統計モデリングにおいて広く使われている。 彼らは主に深層学習の分野で過小評価されている。 ディープラーニングモデルに対する制御変数アプローチを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Control variables are widely used in statistical modelling to account for omitted variable bias of known confounders. However, they have largely been underexplored in deep learning. This is surprising, given that deep learning models encode image-inferable covariates, such as demographic variables, into their predictions when these covariates are correlated with the outcome---a form of omitted variable bias referred to as 'shortcut learning'. While many existing confound-control or fairness methods try to restrict the correlation of such covariates with model predictions, we show that this fails to correct for omitted variable bias. We therefore propose a control variable approach for deep learning models, based on generalised additive modelling of the effects of model inputs and covariates. As flexible additive models can suffer from concurvity, we introduce an estimation procedure that refits the final layer of a pre-trained network to include covariate effects, using cross-fitting with ridge penalisation. We show how these effects can be orthogonalised with respect to covariates to exclude their mediated effects and that model predictions can be marginalised over the covariate distribution to control for their effect. This yields unbiased, interpretable predictions and offers flexibility to model the desired effects depending on the scientific or fairness objective. We verify our approach using simulated images, and demonstrate consistent estimation of true effects. Existing methods either require more data or fail to recover the true effects. We apply our method to real neuroimaging data with experimentally induced confounding, where it recovers prediction performance to near the level of a model trained on unconfounded data. Code is available at https://github.com/mpff/cocodeel.
• Abstract（参考訳）: 制御変数は、既知の共創者の省略変数バイアスを考慮するために、統計モデリングにおいて広く使われている。 しかし、それらは主に深層学習において過小評価されている。 階層変数のような画像推論可能な共変数を符号化した深層学習モデルが、これらの共変数が結果と相関している場合、それらの予測に符号化されることを考えると、これは驚きである。 多くの既存共役制御法や公平性法はモデル予測との相関を制限しようとするが、これは省略変数バイアスの補正に失敗することを示している。 そこで本研究では,モデル入力と共変量の影響を一般化した加法モデルに基づいて,ディープラーニングモデルに対する制御変数アプローチを提案する。 フレキシブルな加法モデルでは整合性に悩まされる可能性があるため,リッジペナライゼーションを用いたクロスフィットを用いて,共変量を含む事前学習ネットワークの最終層に適合する推定手順を導入する。 これらの効果が共変量に対して直交して媒介効果を排除し、モデル予測が共変量分布に対して余剰化され、それらの効果を制御することができることを示す。 これは偏見のない解釈可能な予測をもたらし、科学的または公正な目的によって望ましい効果をモデル化する柔軟性を提供する。 シミュレーション画像を用いて本手法を検証し,真の効果を一貫した推定結果を示す。 既存のメソッドは、より多くのデータを必要とするか、真の効果を回復できないかのいずれかです。 提案手法は,実験によって誘発された共振を用いた実脳画像データに適用し,未確立データに基づいてトレーニングされたモデルに近い精度で予測性能を回復する。 コードはhttps://github.com/mpff/cocodeel.comで入手できる。

関連論文リスト

• Debiasing Reward Models by Representation Learning with Guarantees [20.170532007501883]
  本稿では,報酬モデルにおける素早い相関問題を緩和する原理的枠組みを提案する。 本研究では, 余剰潜伏変数のサロゲートが利用できるかどうかに関わらず, 理論上はデータから非純粋潜伏変数を識別可能であることを示す。 合成および実世界のデータセットに関する実験により、我々の手法は効果的な相関問題を緩和し、より堅牢な報酬モデルが得られることを示した。
  論文  参考訳（メタデータ） (2025-10-27T18:37:57Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Improving Group Robustness on Spurious Correlation via Evidential Alignment [26.544938760265136]
  ディープニューラルネットワークは、しばしば急激な相関、すなわち非因果的特徴と標的の間の表面的関連を学習し、依存する。 既存のメソッドは通常、外部のグループアノテーションや補助的な決定論的モデルを使用することでこの問題を軽減する。 偏りのあるモデルの振る舞いを理解するために不確実性定量化を利用する新しいフレームワークであるエビデンシャルアライメントを提案する。
  論文  参考訳（メタデータ） (2025-06-12T22:47:21Z)
• NeuronTune: Towards Self-Guided Spurious Bias Mitigation [26.544938760265136]
  ディープニューラルネットワークは、しばしば急激な偏見、非本質的な特徴と予測のためのクラスの間の相関に依存する。 既存の緩和アプローチは典型的には、緩やかな相関の外部アノテーションに依存している。 本稿では,モデルの内部決定プロセスに直接介入するポストホック法であるNeuronTuneを提案する。
  論文  参考訳（メタデータ） (2025-05-29T22:33:00Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Linked shrinkage to improve estimation of interaction effects in regression models [0.0]
  回帰モデルにおける双方向相互作用項によく適応する推定器を開発する。 我々は,選択戦略では難しい推論モデルの可能性を評価する。 私たちのモデルは、かなり大きなサンプルサイズであっても、ランダムな森林のような、より高度な機械学習者に対して非常に競争力があります。
  論文  参考訳（メタデータ） (2023-09-25T10:03:39Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Undersmoothing Causal Estimators with Generative Trees [0.0]
  観察データから個別に治療効果を推定することで、標的となる介入の可能性を解き放つことができる。 しかし、観測データからこれらの効果を推測することは困難である。 本稿では,モデルの不特定に対処する新しい生成木に基づくアプローチについて検討する。
  論文  参考訳（メタデータ） (2022-03-16T11:59:38Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
  ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。 単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。 提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-06T19:30:32Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。