論文の概要: Bayesian Topic Regression for Causal Inference
- arxiv url: http://arxiv.org/abs/2109.05317v1
- Date: Sat, 11 Sep 2021 16:40:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-14 16:14:39.393864
- Title: Bayesian Topic Regression for Causal Inference
- Title(参考訳): 因果推論のためのベイズ話題回帰
- Authors: Maximilian Ahrens, Julian Ashwin, Jan-Peter Calliess, Vu Nguyen
- Abstract要約: 観測テキストデータを用いた因果推論は、多くの研究領域で人気が高まっている。
本稿では,テキストと数値情報の両方を用いて結果変数をモデル化するベイズ的トピック回帰モデルを提案する。
- 参考スコア(独自算出の注目度): 3.9082355007261427
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Causal inference using observational text data is becoming increasingly
popular in many research areas. This paper presents the Bayesian Topic
Regression (BTR) model that uses both text and numerical information to model
an outcome variable. It allows estimation of both discrete and continuous
treatment effects. Furthermore, it allows for the inclusion of additional
numerical confounding factors next to text data. To this end, we combine a
supervised Bayesian topic model with a Bayesian regression framework and
perform supervised representation learning for the text features jointly with
the regression parameter training, respecting the Frisch-Waugh-Lovell theorem.
Our paper makes two main contributions. First, we provide a regression
framework that allows causal inference in settings when both text and numerical
confounders are of relevance. We show with synthetic and semi-synthetic
datasets that our joint approach recovers ground truth with lower bias than any
benchmark model, when text and numerical features are correlated. Second,
experiments on two real-world datasets demonstrate that a joint and supervised
learning strategy also yields superior prediction results compared to
strategies that estimate regression weights for text and non-text features
separately, being even competitive with more complex deep neural networks.
- Abstract(参考訳): 観測テキストデータを用いた因果推論は、多くの研究領域で人気が高まっている。
本稿では,テキストと数値情報の両方を用いて結果変数をモデル化するベイズトピック回帰(BTR)モデルを提案する。
個々の治療効果と連続的な治療効果の両方を推定できる。
さらに、テキストデータの横に、追加の数値共起因子を組み込むことも可能である。
この目的のために,教師付きベイズ話題モデルとベイズ回帰フレームワークを結合し,フリッシュ・ヴォー・ロヴェールの定理を尊重する回帰パラメータトレーニングと共同でテキスト特徴の教師付き表現学習を行う。
私たちの論文は2つの大きな貢献をした。
まず、テキストと数値の共著者の両方が関連がある場合、設定において因果推論を可能にする回帰フレームワークを提供する。
我々は合成および半合成データセットを用いて,テキストと数値的特徴が関連付けられた場合,いずれのベンチマークモデルよりも低いバイアスで基礎的真理を回復する手法を示す。
第二に、2つの実世界のデータセットの実験では、共同学習戦略と教師付き学習戦略が、テキストと非テキストの特徴の回帰重みを別々に見積もる戦略よりも優れた予測結果をもたらすことを示した。
関連論文リスト
- From Text to Treatment Effects: A Meta-Learning Approach to Handling Text-Based Confounding [7.5348062792]
本稿では,共起変数をテキストで表現する場合のメタラーナーの性能について検討する。
共同創設者の事前学習したテキスト表現を用いた学習者は,CATE推定精度の向上を図っている。
テキスト埋め込みの絡み合った性質のため、これらのモデルは、完全な共同創設者の知識を持つメタ学習者のパフォーマンスと完全には一致しない。
論文 参考訳(メタデータ) (2024-09-23T19:46:19Z) - Generalized Regression with Conditional GANs [2.4171019220503402]
本稿では,学習データセットにおける特徴ラベルペアと,対応する入力と組み合わせて出力を区別できない予測関数を学習することを提案する。
回帰に対するこのアプローチは、私たちが適合するデータの分布に対する仮定を減らし、表現能力が向上することを示す。
論文 参考訳(メタデータ) (2024-04-21T01:27:47Z) - How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳(メタデータ) (2023-11-14T08:51:00Z) - Linked shrinkage to improve estimation of interaction effects in
regression models [0.0]
回帰モデルにおける双方向相互作用項によく適応する推定器を開発する。
我々は,選択戦略では難しい推論モデルの可能性を評価する。
私たちのモデルは、かなり大きなサンプルサイズであっても、ランダムな森林のような、より高度な機械学習者に対して非常に競争力があります。
論文 参考訳(メタデータ) (2023-09-25T10:03:39Z) - Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。
本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。
2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
論文 参考訳(メタデータ) (2023-08-24T16:06:36Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳(メタデータ) (2023-06-09T08:30:51Z) - Inverse Reinforcement Learning for Text Summarization [52.765898203824975]
本稿では,抽象的な要約モデルを学習するための効果的なパラダイムとして,逆強化学習(IRL)を導入する。
異なる領域におけるデータセット間の実験結果は、MLEおよびRLベースラインに対する要約のための提案したIRLモデルの優位性を示す。
論文 参考訳(メタデータ) (2022-12-19T23:45:05Z) - MeetSum: Transforming Meeting Transcript Summarization using
Transformers! [2.1915057426589746]
本稿では,Transformer ベースの Pointer Generator Network を用いて要約文を生成する。
このモデルは、エンコーダとデコーダとして2つのLSTMを使用し、入力されたテキストから単語をコピーするポインタネットワークと、語彙外単語を生成するジェネレータネットワークを使用する。
本稿では,ニュース要約データセット上でモデルをトレーニングし,ゼロショット学習を用いてミーティングデータセット上でテストすることで,AMIミーティングデータセット上でのトレーニングよりも優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2021-08-13T16:34:09Z) - Synthetic Dataset Generation of Driver Telematics [0.0]
本稿では、類似の現実保険データセットからエミュレートされたドライバーテレマティクスの合成データセットの作成に使用されるテクニックについて述べる。
機械学習アルゴリズムを使った3段階のプロセスに従う。
得られたデータセットは、Poissonとガンマ回帰モデルが各データに適合する場合に、合成データセットと実データセットを比較して評価する。
論文 参考訳(メタデータ) (2021-01-30T15:52:56Z) - Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。
モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。
要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
論文 参考訳(メタデータ) (2020-10-15T16:57:27Z) - Learning from Context or Names? An Empirical Study on Neural Relation
Extraction [112.06614505580501]
テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前)
本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。
我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
論文 参考訳(メタデータ) (2020-10-05T11:21:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。