論文の概要: Interventional Probing in High Dimensions: An NLI Case Study

• arxiv url: http://arxiv.org/abs/2304.10346v1
• Date: Thu, 20 Apr 2023 14:34:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 12:54:16.527030
• Title: Interventional Probing in High Dimensions: An NLI Case Study
• Title（参考訳）: 高次元における介入的探傷:nli例
• Authors: Julia Rozanova, Marco Valentino, Lucas Cordeiro, Andre Freitas
• Abstract要約: 自然言語推論タスク(NLI)の「自然な論理」フラグメントの中間にある意味的特徴を検出するための探索戦略が示されている。 本研究では,これらの意味的特徴がNLI分類に与える影響を調べるために,新しい,既存の表現レベルの介入を行う。
• 参考スコア（独自算出の注目度）: 2.1028463367241033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Probing strategies have been shown to detect the presence of various linguistic features in large language models; in particular, semantic features intermediate to the "natural logic" fragment of the Natural Language Inference task (NLI). In the case of natural logic, the relation between the intermediate features and the entailment label is explicitly known: as such, this provides a ripe setting for interventional studies on the NLI models' representations, allowing for stronger causal conjectures and a deeper critical analysis of interventional probing methods. In this work, we carry out new and existing representation-level interventions to investigate the effect of these semantic features on NLI classification: we perform amnesic probing (which removes features as directed by learned linear probes) and introduce the mnestic probing variation (which forgets all dimensions except the probe-selected ones). Furthermore, we delve into the limitations of these methods and outline some pitfalls have been obscuring the effectivity of interventional probing studies.
• Abstract（参考訳）: 特に、自然言語推論タスク(NLI)の「自然な論理」の断片と中間的な意味的特徴である。 自然論理の場合には、中間的特徴と包含ラベルの関係は明確に知られている:このように、これはnliモデルの表現に関する介入研究の熟成条件を提供し、より強い因果的予想と介入的探索法のより深い批判的分析を可能にする。 本研究では,これらの意味的特徴がnli分類に与える影響を調べるために,新たに既存の表現レベルの介入を行い,アムネティック・プロビング(学習線形プローブによる特徴の除去)を行い,mnestic probing変遷(プローブ選択されたものを除くすべての次元を無視する)を導入する。 さらに,これらの方法の限界を考察し,介入的探索研究の効果を損なういくつかの落とし穴を概説する。

関連論文リスト

• The correlation between nativelike selection and prototypicality: a multilingual onomasiological case study using semantic embedding [0.0]
  本研究では,NLS(Nativelike selection)の背景にある意味的モチベーションと再現性の分析の可能性について検討した。 問題となっているNLSを考慮し,中国語動詞shang'harm'の言語固有のプロトタイプを明らかにするために,クラスタ分析と行動プロファイル分析を行った。
  論文  参考訳（メタデータ） (2024-05-22T10:55:26Z)
• Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models [16.328341121232484]
  文脈介入の効果を測定するために因果効果推定手法を適用した。 本研究はトランスフォーマーの無関係な変化に対する堅牢性と影響の高い変化に対する感受性について検討する。
  論文  参考訳（メタデータ） (2024-04-03T10:22:35Z)
• CausalGym: Benchmarking causal interpretability methods on linguistic tasks [52.61917615039112]
  CausalGymを使って、モデル動作に因果的に影響を及ぼす解釈可能性手法のベンチマークを行う。 ピチアモデル (14M--6.9B) について検討し, 幅広い解釈可能性手法の因果効果について検討した。 DASは他の手法よりも優れており、2つの困難な言語現象の学習軌跡の研究に利用している。
  論文  参考訳（メタデータ） (2024-02-19T21:35:56Z)
• Estimating the Causal Effects of Natural Logic Features in Neural NLI Models [2.363388546004777]
  我々は、広く使われているモデルにおいて、体系的な推論失敗を特定し、定量化するのに十分な構造と規則性を持った推論の特定のパターンに着目する。 文脈介入の効果を測定するために因果効果推定手法を適用した。 異なる設定におけるNLPモデルの因果解析に関する関連する研究に続いて、NLIタスクの方法論を適用して比較モデルプロファイルを構築する。
  論文  参考訳（メタデータ） (2023-05-15T12:01:09Z)
• Rank-Based Causal Discovery for Post-Nonlinear Models [2.4493299476776778]
  ポスト非線形(PNL)因果モデルは、そのような制限されたサブクラスに対して最も柔軟な選択肢の1つである。 本稿では,PNL因果探索のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-02-23T21:19:23Z)
• Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
  スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。 提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。 本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2022-05-14T11:47:58Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
  近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。 本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。 特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
  論文  参考訳（メタデータ） (2021-07-23T06:57:08Z)
• Exploring Transitivity in Neural NLI Models through Veridicality [39.845425535943534]
  推論関係の推移性に着目する。推論を体系的に描く基本的な性質である。 推移性をキャプチャするモデルは、基本的な推論パターンを構成し、新しい推論を引き出すことができる。 現在のNLIモデルは、推移性推論タスクで一貫してうまく機能しないことがわかります。
  論文  参考訳（メタデータ） (2021-01-26T11:18:35Z)
• Explaining Black Box Predictions and Unveiling Data Artifacts through Influence Functions [55.660255727031725]
  影響関数は、影響力のあるトレーニング例を特定することによって、モデルの判断を説明する。 本稿では,代表課題における影響関数と共通単語順応法の比較を行う。 我々は,学習データ中の成果物を明らかにすることができる影響関数に基づく新しい尺度を開発した。
  論文  参考訳（メタデータ） (2020-05-14T00:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。