Fugu-MT 論文翻訳(概要): Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models

論文の概要: Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models

arxiv url: http://arxiv.org/abs/2404.02622v1
Date: Wed, 3 Apr 2024 10:22:35 GMT
ステータス: 処理完了
システム内更新日: 2024-04-04 17:50:35.087185
Title: Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models
Title（参考訳）: 変圧器を用いたNLIモデルにおける自然論理的特徴の因果効果の推定
Authors: Julia Rozanova, Marco Valentino, André Freitas,
Abstract要約: 文脈介入の効果を測定するために因果効果推定手法を適用した。本研究はトランスフォーマーの無関係な変化に対する堅牢性と影響の高い変化に対する感受性について検討する。
参考スコア（独自算出の注目度）: 16.328341121232484
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Rigorous evaluation of the causal effects of semantic features on language model predictions can be hard to achieve for natural language reasoning problems. However, this is such a desirable form of analysis from both an interpretability and model evaluation perspective, that it is valuable to investigate specific patterns of reasoning with enough structure and regularity to identify and quantify systematic reasoning failures in widely-used models. In this vein, we pick a portion of the NLI task for which an explicit causal diagram can be systematically constructed: the case where across two sentences (the premise and hypothesis), two related words/terms occur in a shared context. In this work, we apply causal effect estimation strategies to measure the effect of context interventions (whose effect on the entailment label is mediated by the semantic monotonicity characteristic) and interventions on the inserted word-pair (whose effect on the entailment label is mediated by the relation between these words). Extending related work on causal analysis of NLP models in different settings, we perform an extensive interventional study on the NLI task to investigate robustness to irrelevant changes and sensitivity to impactful changes of Transformers. The results strongly bolster the fact that similar benchmark accuracy scores may be observed for models that exhibit very different behaviour. Moreover, our methodology reinforces previously suspected biases from a causal perspective, including biases in favour of upward-monotone contexts and ignoring the effects of negation markers.
Abstract（参考訳）: 言語モデル予測における意味的特徴の因果的影響の厳密な評価は、自然言語推論問題において達成し難い。しかし、これは解釈可能性とモデル評価の観点からの望ましい分析形態であり、広く使われているモデルにおける体系的推論失敗を識別し定量化するのに十分な構造と規則性を持つ推論の特定のパターンを調べることが重要である。本稿では、2つの文(前提と仮説)にまたがって2つの関連する単語/項が共有された文脈で発生する場合において、明示的な因果図を体系的に構築できるNLIタスクの一部を選択する。本研究では、文脈介入(エンターメントラベルに対する効果が意味的単調性特性によって媒介される)と挿入語ペアに対する介入(エンターメントラベルに対する効果がこれらの単語の関係によって媒介される)の効果を測定するために因果効果推定戦略を適用した。異なる環境下でのNLPモデルの因果解析に関する関連研究を拡張し,非関係な変化に対するロバスト性,およびトランスフォーマーの衝撃的な変化に対する感受性について検討するため,NLIタスクに対する広範な介入研究を行った。結果は、非常に異なる振る舞いを示すモデルに対して、類似のベンチマーク精度スコアが観測されるという事実を強く支持する。さらに,本手法は,上向き単調な文脈を優先するバイアスや否定マーカーの効果を無視するバイアスなど,因果的視点から疑わしい偏見を補強する。

関連論文リスト

Identifiable Latent Neural Causal Models [82.14087963690561]
因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。因果表現の識別可能性に寄与する分布シフトのタイプを決定する。本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
論文参考訳（メタデータ） (2024-03-23T04:13:55Z)
Semantic Sensitivities and Inconsistent Predictions: Measuring the Fragility of NLI Models [44.56781176879151]
State-of-the-art Natural Language Inference (NLI)モデルは、表面形状の変化を保存するマイナーセマンティクスに敏感である。セマンティックな感度は、平均$textbfin-$と$textbfout-of-$ドメイン設定よりも平均$12.92%と$23.71%のパフォーマンス劣化を引き起こす。
論文参考訳（メタデータ） (2024-01-25T14:47:05Z)
Causal Inference from Text: Unveiling Interactions between Variables [20.677407402398405]
既存の方法は、治療と結果の両方に影響を及ぼす共変量しか説明できない。このバイアスは、衝突しない共変量について十分に考慮されていないことから生じる。本研究では,変数間の相互作用を明らかにすることにより,バイアスを軽減することを目的とする。
論文参考訳（メタデータ） (2023-11-09T11:29:44Z)
Identifiable Latent Polynomial Causal Models Through the Lens of Change [82.14087963690561]
因果表現学習は、観測された低レベルデータから潜在的な高レベル因果表現を明らかにすることを目的としている。主な課題の1つは、識別可能性(identifiability)として知られるこれらの潜伏因果モデルを特定する信頼性の高い保証を提供することである。
論文参考訳（メタデータ） (2023-10-24T07:46:10Z)
Causal Analysis for Robust Interpretability of Neural Networks [0.2519906683279152]
我々は、事前学習されたニューラルネットワークの因果効果を捉えるための頑健な介入に基づく手法を開発した。分類タスクで訓練された視覚モデルに本手法を適用した。
論文参考訳（メタデータ） (2023-05-15T18:37:24Z)
Estimating the Causal Effects of Natural Logic Features in Neural NLI Models [2.363388546004777]
我々は、広く使われているモデルにおいて、体系的な推論失敗を特定し、定量化するのに十分な構造と規則性を持った推論の特定のパターンに着目する。文脈介入の効果を測定するために因果効果推定手法を適用した。異なる設定におけるNLPモデルの因果解析に関する関連する研究に続いて、NLIタスクの方法論を適用して比較モデルプロファイルを構築する。
論文参考訳（メタデータ） (2023-05-15T12:01:09Z)
Identifying Weight-Variant Latent Causal Models [82.14087963690561]
推移性は潜在因果表現の識別性を阻害する重要な役割を担っている。いくつかの軽微な仮定の下では、潜伏因果表現が自明な置換とスケーリングまで特定可能であることを示すことができる。本稿では,その間の因果関係や因果関係を直接学習する構造的caUsAl変分自動エンコーダを提案する。
論文参考訳（メタデータ） (2022-08-30T11:12:59Z)
Counterfactual Reasoning for Out-of-distribution Multimodal Sentiment Analysis [56.84237932819403]
本稿では,OODの高次一般化に対するテキストモダリティの悪影響を推定・緩和することを目的とする。そこで本研究では,マルチモーダル感情分析のためのモデルに依存しない反現実的フレームワークを考案した。
論文参考訳（メタデータ） (2022-07-24T03:57:40Z)
Learning Causal Semantic Representation for Out-of-Distribution Prediction [125.38836464226092]
因果推論に基づく因果意味生成モデル(CSG)を提案し,その2つの要因を別々にモデル化する。 CSGはトレーニングデータに適合させることで意味的因子を識別できることを示し、この意味的識別はOOD一般化誤差の有界性を保証する。
論文参考訳（メタデータ） (2020-11-03T13:16:05Z)
CausalVAE: Structured Causal Disentanglement in Variational Autoencoder [52.139696854386976]
変分オートエンコーダ(VAE)の枠組みは、観測から独立した因子をアンタングルするために一般的に用いられる。本稿では, 因果内因性因子を因果内因性因子に変換する因果層を含むVOEベースの新しいフレームワークCausalVAEを提案する。その結果、CausalVAEが学習した因果表現は意味論的に解釈可能であり、DAG(Directed Acyclic Graph)としての因果関係は精度良く同定された。
論文参考訳（メタデータ） (2020-04-18T20:09:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。