論文の概要: Estimating the Causal Effects of Natural Logic Features in Neural NLI Models

• arxiv url: http://arxiv.org/abs/2305.08572v1
• Date: Mon, 15 May 2023 12:01:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 14:44:51.539048
• Title: Estimating the Causal Effects of Natural Logic Features in Neural NLI Models
• Title（参考訳）: ニューラルNLIモデルにおける自然論理的特徴の因果効果の推定
• Authors: Julia Rozanova, Marco Valentino, Andre Freitas
• Abstract要約: 我々は、広く使われているモデルにおいて、体系的な推論失敗を特定し、定量化するのに十分な構造と規則性を持った推論の特定のパターンに着目する。 文脈介入の効果を測定するために因果効果推定手法を適用した。 異なる設定におけるNLPモデルの因果解析に関する関連する研究に続いて、NLIタスクの方法論を適用して比較モデルプロファイルを構築する。
• 参考スコア（独自算出の注目度）: 2.363388546004777
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rigorous evaluation of the causal effects of semantic features on language model predictions can be hard to achieve for natural language reasoning problems. However, this is such a desirable form of analysis from both an interpretability and model evaluation perspective, that it is valuable to zone in on specific patterns of reasoning with enough structure and regularity to be able to identify and quantify systematic reasoning failures in widely-used models. In this vein, we pick a portion of the NLI task for which an explicit causal diagram can be systematically constructed: in particular, the case where across two sentences (the premise and hypothesis), two related words/terms occur in a shared context. In this work, we apply causal effect estimation strategies to measure the effect of context interventions (whose effect on the entailment label is mediated by the semantic monotonicity characteristic) and interventions on the inserted word-pair (whose effect on the entailment label is mediated by the relation between these words.). Following related work on causal analysis of NLP models in different settings, we adapt the methodology for the NLI task to construct comparative model profiles in terms of robustness to irrelevant changes and sensitivity to impactful changes.
• Abstract（参考訳）: 言語モデル予測における意味的特徴の因果効果の厳密な評価は、自然言語推論問題において達成しにくい。 しかし、これは解釈可能性とモデル評価の観点からの望ましい分析形態であり、広く使われているモデルにおける体系的推論失敗を識別し定量化するのに十分な構造と規則性を持つ推論の特定のパターンに割り込むことは価値がある。 本稿では,NLIタスクの一部を,明示的な因果関係図を体系的に構築できる部分を選択する。特に,2つの文(前提と仮説)にまたがる2つの関連語/項が共用文脈で発生する場合。 本研究では、文脈介入(エンターメントラベルに対する影響は意味的単調性特性によって媒介される)と挿入語ペアに対する介入(エンターメントラベルに対する効果はこれらの単語の関係によって媒介される)の効果を測定するために因果効果推定戦略を適用した。 異なる環境でのNLPモデルの因果解析に関する関連する研究に続いて、NLIタスクの方法論を適用し、無関係な変化に対する堅牢性と影響のある変化に対する感受性の観点から比較モデルプロファイルを構築する。

関連論文リスト

• Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models [16.328341121232484]
  文脈介入の効果を測定するために因果効果推定手法を適用した。 本研究はトランスフォーマーの無関係な変化に対する堅牢性と影響の高い変化に対する感受性について検討する。
  論文  参考訳（メタデータ） (2024-04-03T10:22:35Z)
• Semantic Sensitivities and Inconsistent Predictions: Measuring the Fragility of NLI Models [44.56781176879151]
  State-of-the-art Natural Language Inference (NLI)モデルは、表面形状の変化を保存するマイナーセマンティクスに敏感である。 セマンティックな感度は、平均$textbfin-$と$textbfout-of-$ドメイン設定よりも平均$12.92%と$23.71%のパフォーマンス劣化を引き起こす。
  論文  参考訳（メタデータ） (2024-01-25T14:47:05Z)
• Identifiable Latent Polynomial Causal Models Through the Lens of Change [82.14087963690561]
  因果表現学習は、観測された低レベルデータから潜在的な高レベル因果表現を明らかにすることを目的としている。 主な課題の1つは、識別可能性(identifiability)として知られるこれらの潜伏因果モデルを特定する信頼性の高い保証を提供することである。
  論文  参考訳（メタデータ） (2023-10-24T07:46:10Z)
• Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
  要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。 本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。 2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
  論文  参考訳（メタデータ） (2023-08-24T16:06:36Z)
• Interventional Probing in High Dimensions: An NLI Case Study [2.1028463367241033]
  自然言語推論タスク(NLI)の「自然な論理」フラグメントの中間にある意味的特徴を検出するための探索戦略が示されている。 本研究では,これらの意味的特徴がNLI分類に与える影響を調べるために,新しい,既存の表現レベルの介入を行う。
  論文  参考訳（メタデータ） (2023-04-20T14:34:31Z)
• CausalDialogue: Modeling Utterance-level Causality in Conversations [83.03604651485327]
  クラウドソーシングを通じて、CausalDialogueという新しいデータセットをコンパイルし、拡張しました。 このデータセットは、有向非巡回グラフ(DAG)構造内に複数の因果効果対を含む。 ニューラル会話モデルの訓練における発話レベルにおける因果性の影響を高めるために,Exponential Average Treatment Effect (ExMATE) と呼ばれる因果性強化手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T18:31:50Z)
• Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
  因果機構は構造因果モデルによって記述できる。 最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
  論文  参考訳（メタデータ） (2021-09-06T14:52:58Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)
• Learning Causal Semantic Representation for Out-of-Distribution Prediction [125.38836464226092]
  因果推論に基づく因果意味生成モデル(CSG)を提案し,その2つの要因を別々にモデル化する。 CSGはトレーニングデータに適合させることで意味的因子を識別できることを示し、この意味的識別はOOD一般化誤差の有界性を保証する。
  論文  参考訳（メタデータ） (2020-11-03T13:16:05Z)
• Estimating Causal Effects with the Neural Autoregressive Density Estimator [6.59529078336196]
  我々は、Pearlのdo-calculusフレームワーク内の因果効果を推定するために、神経自己回帰密度推定器を使用する。 本手法は,変数間の相互作用を明示的にモデル化することなく,非線形システムから因果効果を抽出できることを示す。
  論文  参考訳（メタデータ） (2020-08-17T13:12:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。