論文の概要: Causal Direction of Data Collection Matters: Implications of Causal and
Anticausal Learning in NLP
- arxiv url: http://arxiv.org/abs/2110.03618v1
- Date: Thu, 7 Oct 2021 16:56:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-08 18:11:44.052815
- Title: Causal Direction of Data Collection Matters: Implications of Causal and
Anticausal Learning in NLP
- Title（参考訳）: データ収集項目の因果方向:NLPにおける因果的・反因果的学習の意義
- Authors: Zhijing Jin, Julius von K\"ugelgen, Jingwei Ni, Tejas Vaidhya, Ayush
Kaushal, Mrinmaya Sachan, Bernhard Schoelkopf
- Abstract要約: 独立因果機構(ICM)の原理は、実世界のデータの生成過程は互いに影響を与えたり知らせたりしない独立したモジュールで構成されている、と述べている。
本研究は、ICMの原理をNLPで解析する最初の試みであり、将来のモデリング選択に対する建設的な提案である。
- 参考スコア（独自算出の注目度）: 12.28397872697275
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The principle of independent causal mechanisms (ICM) states that generative
processes of real world data consist of independent modules which do not
influence or inform each other. While this idea has led to fruitful
developments in the field of causal inference, it is not widely-known in the
NLP community. In this work, we argue that the causal direction of the data
collection process bears nontrivial implications that can explain a number of
published NLP findings, such as differences in semi-supervised learning (SSL)
and domain adaptation (DA) performance across different settings. We categorize
common NLP tasks according to their causal direction and empirically assay the
validity of the ICM principle for text data using minimum description length.
We conduct an extensive meta-analysis of over 100 published SSL and 30 DA
studies, and find that the results are consistent with our expectations based
on causal insights. This work presents the first attempt to analyze the ICM
principle in NLP, and provides constructive suggestions for future modeling
choices. Code available at https://github.com/zhijing-jin/icm4nlp.
- Abstract（参考訳）: 独立因果メカニズム(icm)の原理では、実世界のデータの生成プロセスは、互いに影響を与えたり、知らせたりしない独立したモジュールで構成される。
このアイデアは因果推論の分野で実りある発展をもたらしたが、NLPコミュニティでは広く知られていない。
本研究では,データ収集プロセスの因果方向が,半教師付き学習(SSL)とドメイン適応(DA)のパフォーマンスの違いなど,多くのNLPの発見を説明できるような非自明な意味を持っていることを論じる。
一般的なnlpタスクを因果方向に応じて分類し,最小記述長を用いたテキストデータに対するicm原則の有効性を実証的に検証する。
100以上のSSLと30のDA研究の広範なメタ分析を行い、その結果は因果的洞察に基づく我々の期待と一致していることがわかった。
本研究は、ICMの原理をNLPで解析する最初の試みであり、将来のモデリング選択に対する建設的な提案である。
コードはhttps://github.com/zhijing-jin/icm4nlp。
関連論文リスト
- Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。
第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。
第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
論文 参考訳（メタデータ） (2025-02-11T19:24:09Z) - Latent Causal Probing: A Formal Perspective on Probing with Causal Models of Data [3.376269351435396]
構造因果モデル(SCM)を用いた探索の形式的視点を開発する。
我々は,合成グリッドワールドナビゲーションタスクの文脈において,最近のLMの研究を拡張した。
我々の手法は、LMがテキストの根底にある潜在概念を誘発する能力を示す、堅牢な実証的な証拠を提供する。
論文 参考訳（メタデータ） (2024-07-18T17:59:27Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳（メタデータ） (2024-06-28T20:06:30Z) - Revisiting Spurious Correlation in Domain Generalization [12.745076668687748]
データ生成プロセスにおける因果関係を記述するために,構造因果モデル(SCM)を構築した。
さらに、スプリアス相関に基づくメカニズムを徹底的に分析する。
そこで本研究では,OOD一般化における共起バイアスの制御について,相対性スコア重み付き推定器を導入して提案する。
論文 参考訳（メタデータ） (2024-06-17T13:22:00Z) - ALCM: Autonomous LLM-Augmented Causal Discovery Framework [2.1470800327528843]
我々は、データ駆動因果探索アルゴリズムと大規模言語モデルとを相乗化するために、ALCM(Autonomous LLM-Augmented Causal Discovery Framework)という新しいフレームワークを導入する。
ALCMは、因果構造学習(英語版)、因果ラッパー(英語版)、LLM駆動因果リファクター(英語版)の3つの統合的な構成要素から構成される。
我々は、よく知られた7つのデータセットに2つのデモを実装することで、ALCMフレームワークを評価する。
論文 参考訳（メタデータ） (2024-05-02T21:27:45Z) - Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。
本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。
観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
論文 参考訳（メタデータ） (2023-11-15T00:02:25Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z) - Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。
本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。
2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
論文 参考訳（メタデータ） (2023-08-24T16:06:36Z) - EigenNoise: A Contrastive Prior to Warm-Start Representations [0.0]
本稿では, 単語ベクトルに対して, 高密度で独立な共起モデルに基づくネーティブなスキームを提案する。
我々のモデルであるEigenNoiseは、事前学習データがないにもかかわらず、経験的に訓練されたGloVeの性能にアプローチできることを示します。
論文 参考訳（メタデータ） (2022-05-09T15:30:50Z) - Relating Graph Neural Networks to Structural Causal Models [17.276657786213015]
因果関係は、興味のある変数とその力学関係に関する情報を伝達する構造因果モデル(SCM)によって記述することができる。
本稿では,GNNとSCMの新たな接続を確立する理論解析について述べる。
次に、GNNに基づく因果推論のための新しいモデルクラスを構築し、因果効果の同定に十分である。
論文 参考訳（メタデータ） (2021-09-09T11:16:31Z) - Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文 参考訳（メタデータ） (2021-06-07T17:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。