論文の概要: SSL Framework for Causal Inconsistency between Structures and Representations

• arxiv url: http://arxiv.org/abs/2310.18634v2
• Date: Tue, 31 Dec 2024 08:55:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-03 14:33:50.263291
• Title: SSL Framework for Causal Inconsistency between Structures and Representations
• Title（参考訳）: 構造と表現の因果不整合のためのSSLフレームワーク
• Authors: Hang Chen, Xinyu Yang, Keqing Du, Wenya Wang,
• Abstract要約: 因果発見と深層学習の相互補間は、ますます広範囲にわたる相互作用を引き起こしている。 不確定データは、因果構造によって表現される因果関係と、深層学習モデルによって生成される因果表現との間に矛盾がある。 因果不整合を軽減するために,介入に基づく自己教師型学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 31.895570222735955
• License:
• Abstract: The cross-pollination between causal discovery and deep learning has led to increasingly extensive interactions. It results in a large number of deep learning data types (such as images, text, etc.) extending into the field of causal discovery, and a multitude of deep learning tasks have begun to utilize causal discovery to explore the internal causal structure and causal representation of data. In this paper, we first identified that a complex data type, ``Indefinite Data", has conflicts between causal relationships expressed by the causal structure and causal representation generated by deep learning models, a phenomenon referred to as causal inconsistency. We thoroughly analyzed related work to explain why only Indefinite Data exhibits causal inconsistency while other data types do not. Furthermore, to alleviate causal inconsistency, we proposed a self-supervised learning (SSL) framework based on intervention, hoping to provide more causal information from different intervention views to promote consistency between structure and representation. Extensive experiments have shown that the SSL framework enhances causal consistency and can further improve causal structure and representation learning performance. Additionally, we extended the SSL framework to three different downstream tasks and LLM instructions. The quantitative results of these applications all reflect the performance improvement brought about by causal consistency.
• Abstract（参考訳）: 因果発見と深層学習の交叉は、ますます広範囲にわたる相互作用を引き起こしている。 その結果、因果的発見の分野に広がる多くの深層学習データタイプ(画像、テキストなど)が実現し、因果的発見を利用して内部因果的構造やデータの因果的表現を探索し始めている。 本稿では,「不確定データ」という複雑なデータ型が,因果構造で表される因果関係と,深層学習モデルで生成された因果表現との間に矛盾があることを最初に確認した。 Indefinite Dataだけが因果不整合を示し、他のデータ型が一致しない理由を説明するために、関連する研究を徹底的に分析した。 さらに、因果不整合を軽減するために、異なる介入視点からより因果的な情報を提供し、構造と表現の整合性を促進することを目的として、介入に基づく自己教師付き学習(SSL)フレームワークを提案した。 大規模な実験により、SSLフレームワークは因果一貫性を高め、因果構造と表現学習性能をさらに向上させることができることが示されている。 さらに、SSLフレームワークを3つのダウンストリームタスクとLLM命令に拡張しました。 これらのアプリケーションの定量的結果は、因果一貫性によるパフォーマンス改善を反映している。

関連論文リスト

• Causal Modeling in Multi-Context Systems: Distinguishing Multiple Context-Specific Causal Graphs which Account for Observational Support [12.738813972869528]
  複数のコンテキストからのデータによる因果構造学習は、機会と課題の両方をもたらす。 本稿では,文脈間の観察支援の違いが因果グラフの識別可能性に及ぼす影響について検討する。 構造因果モデルにおける文脈固有の独立性をモデル化する枠組みを提案する。
  論文  参考訳（メタデータ） (2024-10-27T10:34:58Z)
• From Pre-training Corpora to Large Language Models: What Factors Influence LLM Performance in Causal Discovery Tasks? [51.42906577386907]
  本研究では,因果発見タスクにおけるLarge Language Models(LLM)の性能に影響を与える要因について検討する。 因果関係の頻度が高いことは、より良いモデル性能と相関し、トレーニング中に因果関係の情報に広範囲に暴露することで、因果関係の発見能力を高めることを示唆している。
  論文  参考訳（メタデータ） (2024-07-29T01:45:05Z)
• Cause and Effect: Can Large Language Models Truly Understand Causality? [1.2334534968968969]
  本研究では,CARE CA(Content Aware Reasoning Enhancement with Counterfactual Analysis)フレームワークという新しいアーキテクチャを提案する。 提案するフレームワークには,ConceptNetと反ファクト文を備えた明示的な因果検出モジュールと,大規模言語モデルによる暗黙的な因果検出が組み込まれている。 ConceptNetの知識は、因果的発見、因果的識別、反事実的推論といった複数の因果的推論タスクのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:02:14Z)
• Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
  根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。 ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。 また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
  論文  参考訳（メタデータ） (2024-02-04T05:50:38Z)
• Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
  要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。 本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。 2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
  論文  参考訳（メタデータ） (2023-08-24T16:06:36Z)
• How to Enhance Causal Discrimination of Utterances: A Case on Affective Reasoning [22.11437627661179]
  本稿では,会話プロセスにテクスティ.i.d.ノイズ項を組み込むことにより,構造因果モデル(SCM)を構築することを提案する。 ディープラーニングの実装を容易にするため,非構造化会話データを扱うためのcognフレームワークを導入し,非可観測ノイズを学習可能な「単純な原因」とみなすオートエンコーダアーキテクチャを採用した。
  論文  参考訳（メタデータ） (2023-05-04T07:45:49Z)
• Uncovering Main Causalities for Long-tailed Information Extraction [14.39860866665021]
  データセットの選択バイアスによって引き起こされる長い尾の分布は、誤った相関をもたらす可能性がある。 これは、データの背後にある主な因果関係を明らかにすることを目的とした、新しいフレームワークである。
  論文  参考訳（メタデータ） (2021-09-11T08:08:24Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• Everything Has a Cause: Leveraging Causal Inference in Legal Text Analysis [62.44432226563088]
  因果推論は変数間の因果関係を捉えるプロセスである。 本論文では,事実記述から因果グラフを構築するための新たなグラフベース因果推論フレームワークを提案する。 GCIに含まれる因果知識を強力なニューラルネットワークに効果的に注入することで、パフォーマンスと解釈性が向上します。
  論文  参考訳（メタデータ） (2021-04-19T16:13:10Z)
• CausalVAE: Structured Causal Disentanglement in Variational Autoencoder [52.139696854386976]
  変分オートエンコーダ(VAE)の枠組みは、観測から独立した因子をアンタングルするために一般的に用いられる。 本稿では, 因果内因性因子を因果内因性因子に変換する因果層を含むVOEベースの新しいフレームワークCausalVAEを提案する。 その結果、CausalVAEが学習した因果表現は意味論的に解釈可能であり、DAG(Directed Acyclic Graph)としての因果関係は精度良く同定された。
  論文  参考訳（メタデータ） (2020-04-18T20:09:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。