論文の概要: Adjustment for Confounding using Pre-Trained Representations

• arxiv url: http://arxiv.org/abs/2506.14329v1
• Date: Tue, 17 Jun 2025 09:11:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.402308
• Title: Adjustment for Confounding using Pre-Trained Representations
• Title（参考訳）: 事前学習表現を用いたコンバウンディングの調整
• Authors: Rickmer Schulte, David Rügamer, Thomas Nagler,
• Abstract要約: 本研究では,事前学習したニューラルネットワークの潜時的特徴をどのように活用し,共起源の調整を行うかを検討する。 ニューラルネットワークは、学習問題の空間性と次元という本質的な概念に適応することで、高速収束率を達成することができることを示す。
• 参考スコア（独自算出の注目度）: 2.916285040262091
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is growing interest in extending average treatment effect (ATE) estimation to incorporate non-tabular data, such as images and text, which may act as sources of confounding. Neglecting these effects risks biased results and flawed scientific conclusions. However, incorporating non-tabular data necessitates sophisticated feature extractors, often in combination with ideas of transfer learning. In this work, we investigate how latent features from pre-trained neural networks can be leveraged to adjust for sources of confounding. We formalize conditions under which these latent features enable valid adjustment and statistical inference in ATE estimation, demonstrating results along the example of double machine learning. We discuss critical challenges inherent to latent feature learning and downstream parameter estimation arising from the high dimensionality and non-identifiability of representations. Common structural assumptions for obtaining fast convergence rates with additive or sparse linear models are shown to be unrealistic for latent features. We argue, however, that neural networks are largely insensitive to these issues. In particular, we show that neural networks can achieve fast convergence rates by adapting to intrinsic notions of sparsity and dimension of the learning problem.
• Abstract（参考訳）: 画像やテキストなどの非語彙データを組み込むための平均治療効果(ATE)推定の拡張への関心が高まっている。 これらの影響を無視することは、結果をバイアスし、科学的結論に欠陥がある。 しかし、非タブラルデータの導入は、しばしばトランスファーラーニングのアイデアと組み合わせて、洗練された特徴抽出器を必要とする。 本研究では,事前学習したニューラルネットワークの潜在的特徴をどのように活用して,共起源の調整を行うかを検討する。 我々は、これらの潜在特徴がATE推定における有効な調整と統計的推測を可能にする条件を定式化し、二重機械学習の例に沿った結果を示す。 本稿では,表現の高次元性と非識別性から生じる潜在特徴学習と下流パラメータ推定に固有の重要な課題について論じる。 加法あるいはスパース線形モデルによる高速収束率を得るための一般的な構造的仮定は、潜在的特徴に対して非現実的であることを示す。 しかし、ニューラルネットワークはこれらの問題に対してほとんど無神経である、と我々は主張する。 特に,ニューラルネットワークは,空間性や学習問題の次元といった本質的な概念に適応することで,高速収束率を実現することができることを示す。

関連論文リスト

• Towards Precision in Bolted Joint Design: A Preliminary Machine Learning-Based Parameter Prediction [0.0]
  ボルト接合部は、構造的整合性と信頼性を維持するために工学的に重要である。 従来の方法では、ボルト付きジョイントの非線形挙動を捉えることができないことが多い。 本研究では、負荷容量と摩擦係数を予測するために、経験的データとフィードフォワードニューラルネットワークを組み合わせる。
  論文  参考訳（メタデータ） (2024-12-11T11:00:39Z)
• On the ISS Property of the Gradient Flow for Single Hidden-Layer Neural Networks with Linear Activations [0.0]
  本研究では,不確かさが勾配推定に及ぼす影響について検討した。 一般の過度にパラメータ化された定式化は、損失関数が最小化される集合の外側に配置されるスプリアス平衡の集合を導入することを示す。
  論文  参考訳（メタデータ） (2023-05-17T02:26:34Z)
• Implicit Counterfactual Data Augmentation for Robust Learning [24.795542869249154]
  本研究では, 突発的相関を除去し, 安定した予測を行うために, インプリシト・カウンセショナル・データ拡張法を提案する。 画像とテキストのデータセットをカバーする様々なバイアス付き学習シナリオで実験が行われてきた。
  論文  参考訳（メタデータ） (2023-04-26T10:36:40Z)
• Toward Robust Uncertainty Estimation with Random Activation Functions [3.0586855806896045]
  本稿では,ランダムアクティベーション関数(RAF)アンサンブルを用いた不確実性定量化手法を提案する。 RAF アンサンブルは、合成データセットと実世界のデータセットの両方において、最先端のアンサンブル不確実性定量化手法より優れている。
  論文  参考訳（メタデータ） (2023-02-28T13:17:56Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• Bayesian Neural Networks [0.0]
  ニューラルネットワークによる予測におけるエラーを原理的に得る方法を示し、これらのエラーを特徴付ける2つの方法を提案する。 さらに、これらの2つのメソッドが実際に実施される際に、重大な落とし穴を持つ方法についても説明します。
  論文  参考訳（メタデータ） (2020-06-02T09:43:00Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。