論文の概要: Adjusting for Confounders with Text: Challenges and an Empirical
Evaluation Framework for Causal Inference
- arxiv url: http://arxiv.org/abs/2009.09961v4
- Date: Fri, 6 May 2022 06:33:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-16 04:50:07.678654
- Title: Adjusting for Confounders with Text: Challenges and an Empirical
Evaluation Framework for Causal Inference
- Title(参考訳): テキストによる共同創設者の調整:課題と因果推論のための経験的評価フレームワーク
- Authors: Galen Weld, Peter West, Maria Glenski, David Arbour, Ryan Rossi, Tim
Althoff
- Abstract要約: テキストソーシャルメディアデータを用いた因果推論研究は、人間の行動に関する実用的な洞察を与えることができる。
テキストを用いた因果的手法の実証評価フレームワークは存在しない。
本フレームワークは,テキストを用いた任意のカジュアル推論手法の評価を可能にする。
- 参考スコア(独自算出の注目度): 15.506820260229256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Causal inference studies using textual social media data can provide
actionable insights on human behavior. Making accurate causal inferences with
text requires controlling for confounding which could otherwise impart bias.
Recently, many different methods for adjusting for confounders have been
proposed, and we show that these existing methods disagree with one another on
two datasets inspired by previous social media studies. Evaluating causal
methods is challenging, as ground truth counterfactuals are almost never
available. Presently, no empirical evaluation framework for causal methods
using text exists, and as such, practitioners must select their methods without
guidance. We contribute the first such framework, which consists of five tasks
drawn from real world studies. Our framework enables the evaluation of any
casual inference method using text. Across 648 experiments and two datasets, we
evaluate every commonly used causal inference method and identify their
strengths and weaknesses to inform social media researchers seeking to use such
methods, and guide future improvements. We make all tasks, data, and models
public to inform applications and encourage additional research.
- Abstract(参考訳): テキストソーシャルメディアデータを用いた因果推論研究は、人間の行動に関する実用的な洞察を与えることができる。
テキストで正確な因果推論を行うには、バイアスを生じさせる可能性のある結合を制御する必要がある。
近年, 共同設立者の調整方法が多数提案されており, 従来のソーシャルメディア研究に触発された2つのデータセットについて, 既存の手法が互いに一致しないことが示されている。
根本的真偽がほとんど利用できないため、因果的方法の評価は困難である。
現在,テキストを用いた因果的手法に対する経験的評価フレームワークは存在せず,実践者は指導なしに方法を選択する必要がある。
実世界研究から引き出された5つの課題からなる第1の枠組みをコントリビュートする。
本フレームワークはテキストを用いた任意のカジュアル推論手法の評価を可能にする。
648実験と2つのデータセットを用いて、一般的に使われている因果推論手法を評価し、その強度と弱点を特定し、ソーシャルメディア研究者にそのような手法を使おうとする旨を伝え、今後の改善を導く。
すべてのタスクやデータ、モデルを公開して、アプリケーションに通知し、さらなる研究を奨励します。
関連論文リスト
- Can Language Models Take A Hint? Prompting for Controllable Contextualized Commonsense Inference [12.941933077524919]
我々は、文脈化されたコモンセンス推論を強化するデータ拡張手法である"hinting"を導入する。
『Hinting』では、ハードプロンプトとソフトプロンプトを併用して推論プロセスの導出を行う。
この結果から,"隠れ"は文脈コモンセンス推論の性能を損なうことなく,制御性の向上を図っている。
論文 参考訳(メタデータ) (2024-10-03T04:32:46Z) - Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - Provable Benefits of Policy Learning from Human Preferences in
Contextual Bandit Problems [82.92678837778358]
嗜好に基づく手法は、InstructGPTのような経験的応用でかなりの成功を収めている。
フィードバックモデリングにおける人間のバイアスと不確実性がこれらのアプローチの理論的保証にどのように影響するかを示す。
論文 参考訳(メタデータ) (2023-07-24T17:50:24Z) - Integrity and Junkiness Failure Handling for Embedding-based Retrieval:
A Case Study in Social Network Search [26.705196461992845]
埋め込みベースの検索は、eコマースやソーシャルネットワーク検索など、さまざまな検索アプリケーションで使われている。
本稿では,2021年初頭に開始された埋め込み型検索をソーシャルネットワーク検索エンジン上で解析する。
私たちは、それによってもたらされた失敗の2つの主要なカテゴリ、完全性とジャンク性を定義します。
論文 参考訳(メタデータ) (2023-04-18T20:53:47Z) - Robust and Explainable Identification of Logical Fallacies in Natural
Language Arguments [5.850977561881791]
論理的誤りに関する先行理論を総合的な3段階評価フレームワークに定式化する。
我々は,プロトタイプ推論,インスタンスベースの推論,知識注入に基づく,堅牢で説明可能な3つの手法を取り入れている。
我々はこれらの手法をデータセット上で広範囲に評価し、その堅牢性と説明可能性に焦点を当てた。
論文 参考訳(メタデータ) (2022-12-12T20:27:17Z) - Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards
Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。
正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。
人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
論文 参考訳(メタデータ) (2022-01-27T22:15:56Z) - Individual Explanations in Machine Learning Models: A Case Study on
Poverty Estimation [63.18666008322476]
機械学習の手法は、敏感な社会的文脈でますます適用されつつある。
本研究の主な目的は2つある。
まず、これらの課題を公開し、関連性のある新しい説明方法の使用にどのように影響するか。
次に、関連するアプリケーションドメインで説明メソッドを実装する際に直面するような課題を軽減する一連の戦略を提示します。
論文 参考訳(メタデータ) (2021-04-09T01:54:58Z) - A Survey on Text Classification: From Shallow to Deep Learning [83.47804123133719]
過去10年は、ディープラーニングが前例のない成功を収めたために、この分野の研究が急増している。
本稿では,1961年から2021年までの最先端のアプローチを見直し,そのギャップを埋める。
特徴抽出と分類に使用されるテキストとモデルに基づいて,テキスト分類のための分類を作成する。
論文 参考訳(メタデータ) (2020-08-02T00:09:03Z) - Text and Causal Inference: A Review of Using Text to Remove Confounding
from Causal Estimates [15.69581581445705]
ソーシャルメディア投稿の個人の歴史全体やニュース記事の内容は、共同創設者の豊富な測定を提供する可能性がある。
テキストによるコンファウンディングの調整に注目が集まる一方で、未解決の問題も多い。
論文 参考訳(メタデータ) (2020-05-01T23:20:49Z) - A Survey on Causal Inference [64.45536158710014]
因果推論は統計学、コンピュータ科学、教育、公共政策、経済学など、多くの分野において重要な研究トピックである。
観測データに対する様々な因果効果推定法が誕生した。
論文 参考訳(メタデータ) (2020-02-05T21:35:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。