論文の概要: Counterfactual Maximum Likelihood Estimation for Training Deep Networks
- arxiv url: http://arxiv.org/abs/2106.03831v1
- Date: Mon, 7 Jun 2021 17:47:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-08 18:50:56.374854
- Title: Counterfactual Maximum Likelihood Estimation for Training Deep Networks
- Title(参考訳): 深層ネットワークの学習における最適解推定法
- Authors: Xinyi Wang, Wenhu Chen, Michael Saxon, William Yang Wang
- Abstract要約: 深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
- 参考スコア(独自算出の注目度): 83.44219640437657
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although deep learning models have driven state-of-the-art performance on a
wide array of tasks, they are prone to learning spurious correlations that
should not be learned as predictive clues. To mitigate this problem, we propose
a causality-based training framework to reduce the spurious correlations caused
by observable confounders. We give theoretical analysis on the underlying
general Structural Causal Model (SCM) and propose to perform Maximum Likelihood
Estimation (MLE) on the interventional distribution instead of the
observational distribution, namely Counterfactual Maximum Likelihood Estimation
(CMLE). As the interventional distribution, in general, is hidden from the
observational data, we then derive two different upper bounds of the expected
negative log-likelihood and propose two general algorithms, Implicit CMLE and
Explicit CMLE, for causal predictions of deep learning models using
observational data. We conduct experiments on two real-world tasks: Natural
Language Inference (NLI) and Image Captioning. The results show that CMLE
methods outperform the regular MLE method in terms of out-of-domain
generalization performance and reducing spurious correlations, while
maintaining comparable performance on the regular evaluations.
- Abstract(参考訳): ディープラーニングモデルは、幅広いタスクにおいて最先端のパフォーマンスを駆動していますが、予測手がかりとして学習すべきでない素早い相関を学ぶ傾向があります。
この問題を軽減するために,観測可能な共同設立者による刺激的な相関を緩和する因果関係に基づくトレーニングフレームワークを提案する。
本稿では、基礎となる構造因果モデル(SCM)の理論解析を行い、観測分布ではなく、干渉分布の最大類似度推定(MLE)を行うことを提案する。
干渉分布は一般に観測データから隠蔽されるため,観測データを用いた深層学習モデルの因果予測のために,期待される負の対数関係の2つの上限を導出し,インプリシットCMLEとエクスプリシットCMLEという2つの一般アルゴリズムを提案する。
自然言語推論(nli)と画像キャプションの2つの実世界の課題について実験を行う。
その結果,CMLE法は領域外一般化性能において通常のMLE法よりも優れており,通常の評価に匹敵する性能を維持しつつ,突発的相関を低減していることがわかった。
関連論文リスト
- A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - Generalization bound for estimating causal effects from observational
network data [25.055822137402746]
ネットワークシナリオにおける因果効果推定のための一般化法を導出する。1) 連立確率スコアに基づく再重み付けスキーマ,2) 積分確率メトリック(IPM)に基づく表現学習スキーマ。
そこで本研究では,表現学習で強化した関節適合度スコアに基づく重み付け回帰法を提案する。
論文 参考訳(メタデータ) (2023-08-08T03:14:34Z) - B-Learner: Quasi-Oracle Bounds on Heterogeneous Causal Effects Under
Hidden Confounding [51.74479522965712]
本稿では,B-Learnerと呼ばれるメタラーナーを提案する。
我々は、その推定が有効で、鋭く、効率的であることを証明し、既存の方法よりも一般的な条件下で構成推定器に対して準オーラル特性を持つことを示した。
論文 参考訳(メタデータ) (2023-04-20T18:07:19Z) - Principled Reinforcement Learning with Human Feedback from Pairwise or
$K$-wise Comparisons [79.98542868281473]
RLHF(Reinforcement Learning with Human Feedback)の理論的枠組みを提供する。
学習した報酬モデルに基づいてポリシーをトレーニングする際、MLEは失敗し、悲観的なMLEは特定のカバレッジ仮定の下で性能を改善したポリシーを提供する。
論文 参考訳(メタデータ) (2023-01-26T18:07:21Z) - GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP,
and Beyond [101.5329678997916]
対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。
本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。
低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
論文 参考訳(メタデータ) (2022-11-03T16:42:40Z) - Distributionally Robust Causal Inference with Observational Data [4.8986598953553555]
非確立性の標準的な仮定を伴わない観察研究における平均治療効果の推定を考察する。
本稿では,無観測の共同設立者が存在する可能性を考慮した,一般的な観察研究環境下での堅牢な因果推論の枠組みを提案する。
論文 参考訳(メタデータ) (2022-10-15T16:02:33Z) - Optimal regularizations for data generation with probabilistic graphical
models [0.0]
経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。
生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
論文 参考訳(メタデータ) (2021-12-02T14:45:16Z) - Beyond Marginal Uncertainty: How Accurately can Bayesian Regression
Models Estimate Posterior Predictive Correlations? [13.127549105535623]
入力位置の異なる関数値間の予測的相関を推定することは、しばしば有用である。
まず、後続の予測相関に依存する下流タスクについて考察する:トランスダクティブアクティブラーニング(TAL)
TALは高価で間接的にアルゴリズムの開発を誘導できないため、予測相関をより直接的に評価する2つの指標を導入する。
論文 参考訳(メタデータ) (2020-11-06T03:48:59Z) - Learning Causal Semantic Representation for Out-of-Distribution
Prediction [125.38836464226092]
因果推論に基づく因果意味生成モデル(CSG)を提案し,その2つの要因を別々にモデル化する。
CSGはトレーニングデータに適合させることで意味的因子を識別できることを示し、この意味的識別はOOD一般化誤差の有界性を保証する。
論文 参考訳(メタデータ) (2020-11-03T13:16:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。