論文の概要: Causal Direction of Data Collection Matters: Implications of Causal and
Anticausal Learning in NLP
- arxiv url: http://arxiv.org/abs/2110.03618v1
- Date: Thu, 7 Oct 2021 16:56:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-08 18:11:44.052815
- Title: Causal Direction of Data Collection Matters: Implications of Causal and
Anticausal Learning in NLP
- Title(参考訳): データ収集項目の因果方向:NLPにおける因果的・反因果的学習の意義
- Authors: Zhijing Jin, Julius von K\"ugelgen, Jingwei Ni, Tejas Vaidhya, Ayush
Kaushal, Mrinmaya Sachan, Bernhard Schoelkopf
- Abstract要約: 独立因果機構(ICM)の原理は、実世界のデータの生成過程は互いに影響を与えたり知らせたりしない独立したモジュールで構成されている、と述べている。
本研究は、ICMの原理をNLPで解析する最初の試みであり、将来のモデリング選択に対する建設的な提案である。
- 参考スコア(独自算出の注目度): 12.28397872697275
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The principle of independent causal mechanisms (ICM) states that generative
processes of real world data consist of independent modules which do not
influence or inform each other. While this idea has led to fruitful
developments in the field of causal inference, it is not widely-known in the
NLP community. In this work, we argue that the causal direction of the data
collection process bears nontrivial implications that can explain a number of
published NLP findings, such as differences in semi-supervised learning (SSL)
and domain adaptation (DA) performance across different settings. We categorize
common NLP tasks according to their causal direction and empirically assay the
validity of the ICM principle for text data using minimum description length.
We conduct an extensive meta-analysis of over 100 published SSL and 30 DA
studies, and find that the results are consistent with our expectations based
on causal insights. This work presents the first attempt to analyze the ICM
principle in NLP, and provides constructive suggestions for future modeling
choices. Code available at https://github.com/zhijing-jin/icm4nlp.
- Abstract(参考訳): 独立因果メカニズム(icm)の原理では、実世界のデータの生成プロセスは、互いに影響を与えたり、知らせたりしない独立したモジュールで構成される。
このアイデアは因果推論の分野で実りある発展をもたらしたが、NLPコミュニティでは広く知られていない。
本研究では,データ収集プロセスの因果方向が,半教師付き学習(SSL)とドメイン適応(DA)のパフォーマンスの違いなど,多くのNLPの発見を説明できるような非自明な意味を持っていることを論じる。
一般的なnlpタスクを因果方向に応じて分類し,最小記述長を用いたテキストデータに対するicm原則の有効性を実証的に検証する。
100以上のSSLと30のDA研究の広範なメタ分析を行い、その結果は因果的洞察に基づく我々の期待と一致していることがわかった。
本研究は、ICMの原理をNLPで解析する最初の試みであり、将来のモデリング選択に対する建設的な提案である。
コードはhttps://github.com/zhijing-jin/icm4nlp。
関連論文リスト
- Discovery of the Hidden World with Large Language Models [100.38157787218044]
COAT: Causal representatiOn AssistanTについて紹介する。
COATは、非構造化データから潜在的な因果因子を抽出する因子プロジェクタとしてLLMを組み込んでいる。
LLMはデータ値の収集に使用される追加情報を提供するよう指示することもできる。
論文 参考訳(メタデータ) (2024-02-06T12:18:54Z) - SSL Framework for Causal Inconsistency between Structures and
Representations [23.035761299444953]
深層学習と因果発見のクロスポリン化は、画像、ビデオ、テキストなどの統計的でないデータ形式における因果関係の解明を目指す、急成長する研究分野を触媒している。
我々は、不確定データに適した介入戦略を理論的に開発し、因果一貫性条件(CCC)を導出する。
CCCは様々な分野で重要な役割を果たす可能性がある。
論文 参考訳(メタデータ) (2023-10-28T08:29:49Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。
本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。
2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
論文 参考訳(メタデータ) (2023-08-24T16:06:36Z) - A Diachronic Analysis of Paradigm Shifts in NLP Research: When, How, and
Why? [84.46288849132634]
本稿では、因果発見と推論技術を用いて、科学分野における研究トピックの進化を分析するための体系的な枠組みを提案する。
我々は3つの変数を定義し、NLPにおける研究トピックの進化の多様な側面を包含する。
我々は因果探索アルゴリズムを用いてこれらの変数間の因果関係を明らかにする。
論文 参考訳(メタデータ) (2023-05-22T11:08:00Z) - Measuring Causal Effects of Data Statistics on Language Model's
`Factual' Predictions [59.284907093349425]
大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。
トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。
我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
論文 参考訳(メタデータ) (2022-07-28T17:36:24Z) - On Causality in Domain Adaptation and Semi-Supervised Learning: an
Information-Theoretic Analysis [34.308646155192115]
我々は、mラベル付きソースデータとnラベルなしターゲットデータをトレーニングインスタンスとしてアクセスするUDA/SSL設定について検討する。
因果学習では、ソースとターゲットドメイン間のラベル付け分布が変化しない場合のみ、O(1/m)のレートでソースサンプルのサイズに余剰リスクが依存していることが示される。
反因果学習では、ラベルのないデータが典型的にはO(1/n)の速度でパフォーマンスを支配していることを示す。
論文 参考訳(メタデータ) (2022-05-10T03:18:48Z) - EigenNoise: A Contrastive Prior to Warm-Start Representations [0.0]
本稿では, 単語ベクトルに対して, 高密度で独立な共起モデルに基づくネーティブなスキームを提案する。
我々のモデルであるEigenNoiseは、事前学習データがないにもかかわらず、経験的に訓練されたGloVeの性能にアプローチできることを示します。
論文 参考訳(メタデータ) (2022-05-09T15:30:50Z) - Deep End-to-end Causal Inference [36.822180456180675]
因果推論は、ビジネスエンゲージメント、医療治療、ポリシー作成といった分野にわたるデータ駆動意思決定に不可欠である。
我々は、観測データを取り込む単一のフローベース手法であるDeep End-to-end Causal Inference (DECI)を開発し、因果発見と推論の両方を行う。
以上の結果から,因果発見と(C)ATE推定の両方の基準値と比較すると,DECの優れた性能を示した。
論文 参考訳(メタデータ) (2022-02-04T15:40:28Z) - Relating Graph Neural Networks to Structural Causal Models [17.276657786213015]
因果関係は、興味のある変数とその力学関係に関する情報を伝達する構造因果モデル(SCM)によって記述することができる。
本稿では,GNNとSCMの新たな接続を確立する理論解析について述べる。
次に、GNNに基づく因果推論のための新しいモデルクラスを構築し、因果効果の同定に十分である。
論文 参考訳(メタデータ) (2021-09-09T11:16:31Z) - Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文 参考訳(メタデータ) (2021-06-07T17:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。