論文の概要: CausalBERT: Injecting Causal Knowledge Into Pre-trained Models with Minimal Supervision

• arxiv url: http://arxiv.org/abs/2107.09852v1
• Date: Wed, 21 Jul 2021 02:49:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-22 21:26:50.019296
• Title: CausalBERT: Injecting Causal Knowledge Into Pre-trained Models with Minimal Supervision
• Title（参考訳）: CausalBERT:最小限のスーパービジョンを持つ事前学習モデルに因果知識を注入する
• Authors: Zhongyang Li, Xiao Ding, Kuo Liao, Ting Liu, Bing Qin
• Abstract要約: 既存の訓練済みモデルは、今日のNLPシステムが人間のように考えるのを防ぐ因果知識を欠いている。 CaulBERTは、正確な因果パターンと因果埋め込み技術を用いて、最大の因果資源を収集する。
• 参考スコア（独自算出の注目度）: 29.802713631332246
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has shown success in incorporating pre-trained models like BERT to improve NLP systems. However, existing pre-trained models lack of causal knowledge which prevents today's NLP systems from thinking like humans. In this paper, we investigate the problem of injecting causal knowledge into pre-trained models. There are two fundamental problems: 1) how to collect a large-scale causal resource from unstructured texts; 2) how to effectively inject causal knowledge into pre-trained models. To address these issues, we propose CausalBERT, which collects the largest scale of causal resource using precise causal patterns and causal embedding techniques. In addition, we adopt a regularization-based method to preserve the already learned knowledge with an extra regularization term while injecting causal knowledge. Extensive experiments on 7 datasets, including four causal pair classification tasks, two causal QA tasks and a causal inference task, demonstrate that CausalBERT captures rich causal knowledge and outperforms all pre-trained models-based state-of-the-art methods, achieving a new causal inference benchmark.
• Abstract（参考訳）: 最近の研究は、NLPシステムを改善するためにBERTのような事前訓練されたモデルを導入することに成功している。 しかし、既存の訓練済みモデルには、今日のNLPシステムが人間のように考えるのを防ぐ因果知識がない。 本稿では,事前学習モデルに因果知識を注入する問題について検討する。 1)非構造化テキストから大規模因果的資源の収集方法,2)事前学習されたモデルに因果的知識を効果的に注入する方法。 これらの問題に対処するため、我々は因果関係の正確なパターンと因果関係の埋め込み技術を用いて、最大規模の因果関係資源を収集するCausalBERTを提案する。 さらに,すでに習得済みの知識を余分な正規化項で保存し,因果的知識を注入する正規化ベース手法を採用する。 4つの因果ペア分類タスク、2つの因果QAタスク、1つの因果推論タスクを含む7つのデータセットに対する大規模な実験は、CausalBERTが豊富な因果知識をキャプチャし、事前訓練されたモデルに基づくすべての最先端メソッドを上回り、新しい因果推論ベンチマークを達成することを実証している。

関連論文リスト

• Class Incremental Fault Diagnosis under Limited Fault Data via Supervised Contrastive Knowledge Distillation [9.560742599396411]
  クラスインクリメンタルな障害診断は、以前の知識を維持しながら新しい障害クラスに適応するモデルを必要とする。 本稿では,クラスインクリメンタル・フォールト・診断のためのスーパーバイザード・コントラスト・ナレッジ・ディチリレーションを提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:20:29Z)
• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• Few-Shot Class-Incremental Learning with Prior Knowledge [94.95569068211195]
  本稿では,事前学習モデルの一般化能力を高めるために,先行知識を用いた学習(LwPK)を提案する。 実験結果から,LwPKは破滅的忘れ込みに対するモデルレジリエンスを効果的に向上させることが示された。
  論文  参考訳（メタデータ） (2024-02-02T08:05:35Z)
• Towards Causal Deep Learning for Vulnerability Detection [31.59558109518435]
  ソフトウェア工学モデルに計算に基づく因果学習を導入する。 以上の結果から,CausalVulはモデル精度,ロバスト性,OOD性能を一貫して改善した。
  論文  参考訳（メタデータ） (2023-10-12T00:51:06Z)
• Towards Causal Foundation Model: on Duality between Causal Inference and Attention [18.046388712804042]
  治療効果推定のための因果認識基盤モデルの構築に向けて第一歩を踏み出す。 我々はCInA(Causal Inference with Attention)と呼ばれる新しい理論的に正当化された手法を提案する。
  論文  参考訳（メタデータ） (2023-10-01T22:28:34Z)
• Preserving Commonsense Knowledge from Pre-trained Language Models via Causal Inference [20.5696436171006]
  現存する研究の多くは破滅的な忘れ物であり、訓練済みの知識を無差別に保持している。 我々は因果グラフに微調整を行い、破滅的な忘れ物が事前訓練されたデータから欠落した因果関係にあることを発見した。 実験では,6つのコモンセンスQAデータセットに対して,最先端の微調整手法より優れていた。
  論文  参考訳（メタデータ） (2023-06-19T09:06:44Z)
• Deep Reinforcement Learning Framework for Thoracic Diseases Classification via Prior Knowledge Guidance [49.87607548975686]
  関連疾患に対するラベル付きデータの不足は、正確な診断にとって大きな課題となる。 本稿では,診断エージェントの学習を指導するための事前知識を導入する,新しい深層強化学習フレームワークを提案する。 提案手法の性能はNIHX-ray 14とCheXpertデータセットを用いて実証した。
  論文  参考訳（メタデータ） (2023-06-02T01:46:31Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources in Natural Language Understanding Systems [87.3207729953778]
  我々は、データセット上で最先端のコア参照解決モデルを評価する。 いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。 それでも、最高のパフォーマンスモデルでさえ、推論時にのみ提示される知識を確実に統合するのは難しいようです。
  論文  参考訳（メタデータ） (2022-12-15T23:26:54Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。