論文の概要: SSL Framework for Causal Inconsistency between Structures and Representations
- arxiv url: http://arxiv.org/abs/2310.18634v2
- Date: Tue, 31 Dec 2024 08:55:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-03 14:33:50.263291
- Title: SSL Framework for Causal Inconsistency between Structures and Representations
- Title（参考訳）: 構造と表現の因果不整合のためのSSLフレームワーク
- Authors: Hang Chen, Xinyu Yang, Keqing Du, Wenya Wang,
- Abstract要約: 因果発見と深層学習の相互補間は、ますます広範囲にわたる相互作用を引き起こしている。
不確定データは、因果構造によって表現される因果関係と、深層学習モデルによって生成される因果表現との間に矛盾がある。
因果不整合を軽減するために,介入に基づく自己教師型学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 31.895570222735955
- License:
- Abstract: The cross-pollination between causal discovery and deep learning has led to increasingly extensive interactions. It results in a large number of deep learning data types (such as images, text, etc.) extending into the field of causal discovery, and a multitude of deep learning tasks have begun to utilize causal discovery to explore the internal causal structure and causal representation of data. In this paper, we first identified that a complex data type, ``Indefinite Data", has conflicts between causal relationships expressed by the causal structure and causal representation generated by deep learning models, a phenomenon referred to as causal inconsistency. We thoroughly analyzed related work to explain why only Indefinite Data exhibits causal inconsistency while other data types do not. Furthermore, to alleviate causal inconsistency, we proposed a self-supervised learning (SSL) framework based on intervention, hoping to provide more causal information from different intervention views to promote consistency between structure and representation. Extensive experiments have shown that the SSL framework enhances causal consistency and can further improve causal structure and representation learning performance. Additionally, we extended the SSL framework to three different downstream tasks and LLM instructions. The quantitative results of these applications all reflect the performance improvement brought about by causal consistency.
- Abstract（参考訳）: 因果発見と深層学習の交叉は、ますます広範囲にわたる相互作用を引き起こしている。
その結果、因果的発見の分野に広がる多くの深層学習データタイプ(画像、テキストなど)が実現し、因果的発見を利用して内部因果的構造やデータの因果的表現を探索し始めている。
本稿では,「不確定データ」という複雑なデータ型が,因果構造で表される因果関係と,深層学習モデルで生成された因果表現との間に矛盾があることを最初に確認した。
Indefinite Dataだけが因果不整合を示し、他のデータ型が一致しない理由を説明するために、関連する研究を徹底的に分析した。
さらに、因果不整合を軽減するために、異なる介入視点からより因果的な情報を提供し、構造と表現の整合性を促進することを目的として、介入に基づく自己教師付き学習(SSL)フレームワークを提案した。
大規模な実験により、SSLフレームワークは因果一貫性を高め、因果構造と表現学習性能をさらに向上させることができることが示されている。
さらに、SSLフレームワークを3つのダウンストリームタスクとLLM命令に拡張しました。
これらのアプリケーションの定量的結果は、因果一貫性によるパフォーマンス改善を反映している。
関連論文リスト
- Towards Causal Relationship in Indefinite Data: Baseline Model and New
Datasets [23.035761299444953]
「不確定データ」は多構造データと多値表現を特徴とする。
高品質なデータセットとして、CausalogueとCausactionの2つをリリースしています。
このギャップに3つの設計されたハイライトを取り入れた確率的フレームワークをベースラインとして提案する。
論文 参考訳（メタデータ） (2024-01-16T09:15:43Z) - Causal Representation Learning Made Identifiable by Grouping of Observational Variables [8.157856010838382]
因果表現学習(Causal Representation Learning)は、データ駆動型で隠れた機能の因果モデルを学ぶことを目的としている。
ここでは、新規で弱い制約に基づく識別可能性を示す。
また,モデルに整合した新たな自己教師付き推定フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-24T10:38:02Z) - Towards Causal Foundation Model: on Duality between Causal Inference and Attention [18.046388712804042]
治療効果推定のための因果認識基盤モデルの構築に向けて第一歩を踏み出す。
我々はCInA(Causal Inference with Attention)と呼ばれる新しい理論的に正当化された手法を提案する。
論文 参考訳（メタデータ） (2023-10-01T22:28:34Z) - Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。
本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。
2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
論文 参考訳（メタデータ） (2023-08-24T16:06:36Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳（メタデータ） (2023-06-09T08:30:51Z) - Learning a Structural Causal Model for Intuition Reasoning in
Conversation [20.243323155177766]
NLP研究の重要な側面である推論は、一般的なモデルによって適切に対処されていない。
我々は、各発話がどのように情報チャネルを受信し、活性化するかを説明する会話認知モデル(CCM)を開発した。
変分推論を利用することで、暗黙的な原因の代用を探索し、その観測不可能性の問題に対処し、証拠の低い境界を通して発話の因果表現を再構築する。
論文 参考訳（メタデータ） (2023-05-28T13:54:09Z) - Causal Triplet: An Open Challenge for Intervention-centric Causal
Representation Learning [98.78136504619539]
Causal Tripletは、視覚的に複雑なシーンを特徴とする因果表現学習ベンチマークである。
この結果から,不整合表現やオブジェクト中心表現の知識によって構築されたモデルが,分散表現よりもはるかに優れていることを示す。
論文 参考訳（メタデータ） (2023-01-12T17:43:38Z) - Effect Identification in Cluster Causal Diagrams [51.42809552422494]
クラスタ因果図(略してC-DAG)と呼ばれる新しいタイプのグラフィカルモデルを導入する。
C-DAGは、限定された事前知識に基づいて変数間の関係を部分的に定義することができる。
我々はC-DAGに対する因果推論のための基礎と機械を開発する。
論文 参考訳（メタデータ） (2022-02-22T21:27:31Z) - Towards Robust and Adaptive Motion Forecasting: A Causal Representation
Perspective [72.55093886515824]
本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。
我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。
合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
論文 参考訳（メタデータ） (2021-11-29T18:59:09Z) - Uncovering Main Causalities for Long-tailed Information Extraction [14.39860866665021]
データセットの選択バイアスによって引き起こされる長い尾の分布は、誤った相関をもたらす可能性がある。
これは、データの背後にある主な因果関係を明らかにすることを目的とした、新しいフレームワークである。
論文 参考訳（メタデータ） (2021-09-11T08:08:24Z) - On Disentangled Representations Learned From Correlated Data [59.41587388303554]
相関データに対する最も顕著な絡み合うアプローチの挙動を解析することにより、現実のシナリオにギャップを埋める。
本研究では,データセットの体系的相関が学習され,潜在表現に反映されていることを示す。
また、トレーニング中の弱い監督や、少数のラベルで事前訓練されたモデルを修正することで、これらの潜伏相関を解消する方法を実証する。
論文 参考訳（メタデータ） (2020-06-14T12:47:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。