論文の概要: Explaining The Efficacy of Counterfactually Augmented Data

• arxiv url: http://arxiv.org/abs/2010.02114v4
• Date: Wed, 24 Mar 2021 01:46:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 19:37:21.572744
• Title: Explaining The Efficacy of Counterfactually Augmented Data
• Title（参考訳）: 対効果強化データの有効性について
• Authors: Divyansh Kaushik, Amrith Setlur, Eduard Hovy, Zachary C. Lipton
• Abstract要約: 線形ガウスモデルに基づくおもちゃのアナログを導入する。 我々は、因果モデル、測定ノイズ、領域外一般化、および急激な信号への依存の間の興味深い関係を観察する。 因果的特徴にノイズを加えることは、ドメイン内性能とドメイン外性能の両方を劣化させるべきであるが、非因果的特徴にノイズを加えることは、ドメイン外性能を相対的に改善するであろうという仮説を立証する。
• 参考スコア（独自算出の注目度）: 32.01788229440696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In attempts to produce ML models less reliant on spurious patterns in NLP datasets, researchers have recently proposed curating counterfactually augmented data (CAD) via a human-in-the-loop process in which given some documents and their (initial) labels, humans must revise the text to make a counterfactual label applicable. Importantly, edits that are not necessary to flip the applicable label are prohibited. Models trained on the augmented data appear, empirically, to rely less on semantically irrelevant words and to generalize better out of domain. While this work draws loosely on causal thinking, the underlying causal model (even at an abstract level) and the principles underlying the observed out-of-domain improvements remain unclear. In this paper, we introduce a toy analog based on linear Gaussian models, observing interesting relationships between causal models, measurement noise, out-of-domain generalization, and reliance on spurious signals. Our analysis provides some insights that help to explain the efficacy of CAD. Moreover, we develop the hypothesis that while adding noise to causal features should degrade both in-domain and out-of-domain performance, adding noise to non-causal features should lead to relative improvements in out-of-domain performance. This idea inspires a speculative test for determining whether a feature attribution technique has identified the causal spans. If adding noise (e.g., by random word flips) to the highlighted spans degrades both in-domain and out-of-domain performance on a battery of challenge datasets, but adding noise to the complement gives improvements out-of-domain, it suggests we have identified causal spans. We present a large-scale empirical study comparing spans edited to create CAD to those selected by attention and saliency maps. Across numerous domains and models, we find that the hypothesized phenomenon is pronounced for CAD.
• Abstract（参考訳）: nlpデータセットのスプリアスパターンに依存しないmlモデルを作成する試みにおいて、研究者は、最近、いくつかの文書とその(初期)ラベルが与えられた人為的に拡張されたデータ(cad)をキュレーションすることを提案した。 重要なことに、該当するラベルをひっくり返す必要のない編集は禁止される。 拡張データでトレーニングされたモデルは、経験的に、意味的に無関係な単語に頼らず、ドメイン外をより一般化するために現れる。 この研究は因果的思考にゆるやかに焦点をあてるが、根底にある因果的モデル(抽象レベルでさえも)と、観察された領域外改善の基礎となる原則はいまだ不明である。 本稿では,線形ガウスモデルに基づくおもちゃのアナログについて紹介し,因果モデル,計測ノイズ,領域外一般化,スプリアス信号への依存の関係を考察する。 我々の分析はCADの有効性を説明するのに役立つ洞察を提供する。 さらに,因果的特徴にノイズを加えるとドメイン内性能とドメイン外性能の両方が劣化するが,非言語的特徴にノイズを加えるとドメイン外性能が相対的に向上する,という仮説を定式化する。 このアイデアは、特徴帰属技術が因果関係を識別したかどうかを決定するための投機的テストを引き起こす。 強調されたスパンにノイズ(例えばランダムなワードフリップによって)を追加すると、多くのチャレンジデータセットでドメイン内およびドメイン外のパフォーマンスが低下するが、補完にノイズを追加することでドメイン外スパンが改善される。 本研究では,CADを作成するために編集したスパンを,注意マップやサリエンシマップで選択したスパンと比較した大規模な実証的研究を行った。 多くのドメインやモデルにおいて、CADでは仮説化された現象が発音される。

関連論文リスト

• Estimating Causal Effects from Learned Causal Networks [56.14597641617531]
  本稿では、離散可観測変数に対する因果影響クエリに応答する代替パラダイムを提案する。 観測データから直接因果ベイズネットワークとその共起潜伏変数を学習する。 本手法は, 推定手法よりも有効であることを示す。
  論文  参考訳（メタデータ） (2024-08-26T08:39:09Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Robust Estimation of Causal Heteroscedastic Noise Models [7.568978862189266]
  学生の$t$-distributionは、より小さなサンプルサイズと極端な値で、全体の分布形態を著しく変えることなく、サンプル変数をサンプリングすることの堅牢さで知られている。 我々の経験的評価は、我々の推定器はより堅牢で、合成ベンチマークと実ベンチマークの総合的な性能が向上していることを示している。
  論文  参考訳（メタデータ） (2023-12-15T02:26:35Z)
• Causal Reasoning in the Presence of Latent Confounders via Neural ADMG Learning [8.649109147825985]
  潜伏境界は、観測データから因果推論を行うための長年の障害である。 本稿では,ADMG学習のための自己回帰フローに基づく新しい神経因果モデルを提案する。
  論文  参考訳（メタデータ） (2023-03-22T16:45:54Z)
• Cause-Effect Inference in Location-Scale Noise Models: Maximum Likelihood vs. Independence Testing [19.23479356810746]
  因果発見の根本的な問題は因果推論であり、2つの確率変数間の正しい因果方向を学習する。 最近導入されたヘテロセダスティックな位置スケールノイズ汎関数モデル(LSNM)は、表現力と識別可能性の保証を組み合わせたものである。 雑音分布が正しく特定された場合,LSNMモデル選択が最先端の精度を実現することを示す。
  論文  参考訳（メタデータ） (2023-01-26T20:48:32Z)
• Improving the Robustness of Summarization Models by Detecting and Removing Input Noise [50.27105057899601]
  本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。 本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T00:33:11Z)
• Variational Causal Networks: Approximate Bayesian Inference over Causal Structures [132.74509389517203]
  離散DAG空間上の自己回帰分布をモデル化したパラメトリック変分族を導入する。 実験では,提案した変分後部が真の後部を良好に近似できることを示した。
  論文  参考訳（メタデータ） (2021-06-14T17:52:49Z)
• Recoding latent sentence representations -- Dynamic gradient-based activation modification in RNNs [0.0]
  RNNでは、サブオプティマティックな方法で情報をエンコーディングすることは、シーケンスの後の要素に基づいて表現の質に影響を与える可能性がある。 勾配に基づく補正機構を用いて,標準RNNへの拡張を提案する。 言語モデリングの文脈で異なる実験を行い、そのようなメカニズムを使うことによる影響を詳細に調べる。
  論文  参考訳（メタデータ） (2021-01-03T17:54:17Z)
• Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
  因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。 この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。 実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
  論文  参考訳（メタデータ） (2020-08-02T11:19:36Z)
• CausalVAE: Structured Causal Disentanglement in Variational Autoencoder [52.139696854386976]
  変分オートエンコーダ(VAE)の枠組みは、観測から独立した因子をアンタングルするために一般的に用いられる。 本稿では, 因果内因性因子を因果内因性因子に変換する因果層を含むVOEベースの新しいフレームワークCausalVAEを提案する。 その結果、CausalVAEが学習した因果表現は意味論的に解釈可能であり、DAG(Directed Acyclic Graph)としての因果関係は精度良く同定された。
  論文  参考訳（メタデータ） (2020-04-18T20:09:34Z)
• Effect of Input Noise Dimension in GANs [7.770973053439527]
  入力雑音の寸法がGANの性能に及ぼす影響について検討する。 最適結果に対する入力雑音の適切な次元は、使用するデータセットとアーキテクチャに依存することを示す。
  論文  参考訳（メタデータ） (2020-04-15T04:56:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。