論文の概要: Causal Direction of Data Collection Matters: Implications of Causal and
Anticausal Learning in NLP
- arxiv url: http://arxiv.org/abs/2110.03618v1
- Date: Thu, 7 Oct 2021 16:56:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-08 18:11:44.052815
- Title: Causal Direction of Data Collection Matters: Implications of Causal and
Anticausal Learning in NLP
- Title（参考訳）: データ収集項目の因果方向:NLPにおける因果的・反因果的学習の意義
- Authors: Zhijing Jin, Julius von K\"ugelgen, Jingwei Ni, Tejas Vaidhya, Ayush
Kaushal, Mrinmaya Sachan, Bernhard Schoelkopf
- Abstract要約: 独立因果機構(ICM)の原理は、実世界のデータの生成過程は互いに影響を与えたり知らせたりしない独立したモジュールで構成されている、と述べている。
本研究は、ICMの原理をNLPで解析する最初の試みであり、将来のモデリング選択に対する建設的な提案である。
- 参考スコア（独自算出の注目度）: 12.28397872697275
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The principle of independent causal mechanisms (ICM) states that generative
processes of real world data consist of independent modules which do not
influence or inform each other. While this idea has led to fruitful
developments in the field of causal inference, it is not widely-known in the
NLP community. In this work, we argue that the causal direction of the data
collection process bears nontrivial implications that can explain a number of
published NLP findings, such as differences in semi-supervised learning (SSL)
and domain adaptation (DA) performance across different settings. We categorize
common NLP tasks according to their causal direction and empirically assay the
validity of the ICM principle for text data using minimum description length.
We conduct an extensive meta-analysis of over 100 published SSL and 30 DA
studies, and find that the results are consistent with our expectations based
on causal insights. This work presents the first attempt to analyze the ICM
principle in NLP, and provides constructive suggestions for future modeling
choices. Code available at https://github.com/zhijing-jin/icm4nlp.
- Abstract（参考訳）: 独立因果メカニズム(icm)の原理では、実世界のデータの生成プロセスは、互いに影響を与えたり、知らせたりしない独立したモジュールで構成される。
このアイデアは因果推論の分野で実りある発展をもたらしたが、NLPコミュニティでは広く知られていない。
本研究では,データ収集プロセスの因果方向が,半教師付き学習(SSL)とドメイン適応(DA)のパフォーマンスの違いなど,多くのNLPの発見を説明できるような非自明な意味を持っていることを論じる。
一般的なnlpタスクを因果方向に応じて分類し,最小記述長を用いたテキストデータに対するicm原則の有効性を実証的に検証する。
100以上のSSLと30のDA研究の広範なメタ分析を行い、その結果は因果的洞察に基づく我々の期待と一致していることがわかった。
本研究は、ICMの原理をNLPで解析する最初の試みであり、将来のモデリング選択に対する建設的な提案である。
コードはhttps://github.com/zhijing-jin/icm4nlp。
関連論文リスト
- Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳（メタデータ） (2024-06-28T20:06:30Z) - Revisiting Spurious Correlation in Domain Generalization [12.745076668687748]
データ生成プロセスにおける因果関係を記述するために,構造因果モデル(SCM)を構築した。
さらに、スプリアス相関に基づくメカニズムを徹底的に分析する。
そこで本研究では,OOD一般化における共起バイアスの制御について,相対性スコア重み付き推定器を導入して提案する。
論文 参考訳（メタデータ） (2024-06-17T13:22:00Z) - ALCM: Autonomous LLM-Augmented Causal Discovery Framework [2.1470800327528843]
我々は、データ駆動因果探索アルゴリズムと大規模言語モデルとを相乗化するために、ALCM(Autonomous LLM-Augmented Causal Discovery Framework)という新しいフレームワークを導入する。
ALCMは、因果構造学習(英語版)、因果ラッパー(英語版)、LLM駆動因果リファクター(英語版)の3つの統合的な構成要素から構成される。
我々は、よく知られた7つのデータセットに2つのデモを実装することで、ALCMフレームワークを評価する。
論文 参考訳（メタデータ） (2024-05-02T21:27:45Z) - Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。
本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。
観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
論文 参考訳（メタデータ） (2023-11-15T00:02:25Z) - SSL Framework for Causal Inconsistency between Structures and
Representations [23.035761299444953]
深層学習と因果発見のクロスポリン化は、画像、ビデオ、テキストなどの統計的でないデータ形式における因果関係の解明を目指す、急成長する研究分野を触媒している。
我々は、不確定データに適した介入戦略を理論的に開発し、因果一貫性条件(CCC)を導出する。
CCCは様々な分野で重要な役割を果たす可能性がある。
論文 参考訳（メタデータ） (2023-10-28T08:29:49Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z) - Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。
本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。
2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
論文 参考訳（メタデータ） (2023-08-24T16:06:36Z) - A Diachronic Analysis of Paradigm Shifts in NLP Research: When, How, and
Why? [84.46288849132634]
本稿では、因果発見と推論技術を用いて、科学分野における研究トピックの進化を分析するための体系的な枠組みを提案する。
我々は3つの変数を定義し、NLPにおける研究トピックの進化の多様な側面を包含する。
我々は因果探索アルゴリズムを用いてこれらの変数間の因果関係を明らかにする。
論文 参考訳（メタデータ） (2023-05-22T11:08:00Z) - EigenNoise: A Contrastive Prior to Warm-Start Representations [0.0]
本稿では, 単語ベクトルに対して, 高密度で独立な共起モデルに基づくネーティブなスキームを提案する。
我々のモデルであるEigenNoiseは、事前学習データがないにもかかわらず、経験的に訓練されたGloVeの性能にアプローチできることを示します。
論文 参考訳（メタデータ） (2022-05-09T15:30:50Z) - Relating Graph Neural Networks to Structural Causal Models [17.276657786213015]
因果関係は、興味のある変数とその力学関係に関する情報を伝達する構造因果モデル(SCM)によって記述することができる。
本稿では,GNNとSCMの新たな接続を確立する理論解析について述べる。
次に、GNNに基づく因果推論のための新しいモデルクラスを構築し、因果効果の同定に十分である。
論文 参考訳（メタデータ） (2021-09-09T11:16:31Z) - Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文 参考訳（メタデータ） (2021-06-07T17:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。