論文の概要: Causal-structure Driven Augmentations for Text OOD Generalization

• arxiv url: http://arxiv.org/abs/2310.12803v1
• Date: Thu, 19 Oct 2023 14:59:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 14:46:47.983999
• Title: Causal-structure Driven Augmentations for Text OOD Generalization
• Title（参考訳）: テキストOOD一般化のための因果構造駆動拡張
• Authors: Amir Feder, Yoav Wald, Claudia Shi, Suchi Saria, David Blei
• Abstract要約: 本稿では,データの因果構造を知ることによって導かれる反ファクト的データ拡張を用いて,突発的特徴に対する介入をシミュレートすることを提案する。 この戦略は,ラベルが属性と突発的に相関しているような予測問題に適していることを示す。
• 参考スコア（独自算出の注目度）: 17.75815547057179
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The reliance of text classifiers on spurious correlations can lead to poor generalization at deployment, raising concerns about their use in safety-critical domains such as healthcare. In this work, we propose to use counterfactual data augmentation, guided by knowledge of the causal structure of the data, to simulate interventions on spurious features and to learn more robust text classifiers. We show that this strategy is appropriate in prediction problems where the label is spuriously correlated with an attribute. Under the assumptions of such problems, we discuss the favorable sample complexity of counterfactual data augmentation, compared to importance re-weighting. Pragmatically, we match examples using auxiliary data, based on diff-in-diff methodology, and use a large language model (LLM) to represent a conditional probability of text. Through extensive experimentation on learning caregiver-invariant predictors of clinical diagnoses from medical narratives and on semi-synthetic data, we demonstrate that our method for simulating interventions improves out-of-distribution (OOD) accuracy compared to baseline invariant learning algorithms.
• Abstract（参考訳）: スプリアス相関にテキスト分類器が依存すると、デプロイメントの一般化が不十分になり、医療などの安全クリティカルな領域での使用に対する懸念が高まる。 本研究では,データの因果構造に関する知識から導かれる偽データ拡張を用いて,スプリアス特徴に対する介入をシミュレートし,より頑健なテキスト分類法を学ぶことを提案する。 この戦略は,ラベルが属性と突発的に相関している予測問題に適していることを示す。 このような問題の仮定の下では,重要度の再重み付けと比較して,偽データ拡張の好適なサンプル複雑性について考察する。 現実的には、差分法に基づく補助データを用いて例をマッチングし、大言語モデル(LLM)を用いてテキストの条件付き確率を表す。 医療談話と半合成データから臨床診断を学習する介護不変予測器の広範な実験を通じて,介入シミュレーション手法は,ベースライン不変学習アルゴリズムと比較してアウト・オブ・ディストリビューション(OOD)の精度を向上させることを実証した。

関連論文リスト

• From Text to Treatment Effects: A Meta-Learning Approach to Handling Text-Based Confounding [7.5348062792]
  本稿では,共起変数をテキストで表現する場合のメタラーナーの性能について検討する。 共同創設者の事前学習したテキスト表現を用いた学習者は,CATE推定精度の向上を図っている。 テキスト埋め込みの絡み合った性質のため、これらのモデルは、完全な共同創設者の知識を持つメタ学習者のパフォーマンスと完全には一致しない。
  論文  参考訳（メタデータ） (2024-09-23T19:46:19Z)
• Implicit Counterfactual Data Augmentation for Robust Learning [24.795542869249154]
  本研究では, 突発的相関を除去し, 安定した予測を行うために, インプリシト・カウンセショナル・データ拡張法を提案する。 画像とテキストのデータセットをカバーする様々なバイアス付き学習シナリオで実験が行われてきた。
  論文  参考訳（メタデータ） (2023-04-26T10:36:40Z)
• Is augmentation effective to improve prediction in imbalanced text datasets? [3.1690891866882236]
  データ拡張なしでカットオフを調整することは、オーバーサンプリング手法と同じような結果をもたらすと我々は主張する。 この結果は、不均衡なデータを扱うための様々なアプローチの長所と短所の理解に寄与する。
  論文  参考訳（メタデータ） (2023-04-20T13:07:31Z)
• Mitigating Data Sparsity for Short Text Topic Modeling by Topic-Semantic Contrastive Learning [19.7066703371736]
  トピック・セマンティック・コントラスト・トピック・モデル(TSCTM)を提案する。 我々のTSCTMは、データ拡張の可用性に関わらず最先端のベースラインを上回り、高品質なトピックやトピックの分布を生成します。
  論文  参考訳（メタデータ） (2022-11-23T11:33:43Z)
• RandomSCM: interpretable ensembles of sparse classifiers tailored for omics data [59.4141628321618]
  決定規則の結合や解離に基づくアンサンブル学習アルゴリズムを提案する。 モデルの解釈可能性により、高次元データのバイオマーカー発見やパターン発見に有用である。
  論文  参考訳（メタデータ） (2022-08-11T13:55:04Z)
• Cancer Subtyping by Improved Transcriptomic Features Using Vector Quantized Variational Autoencoder [10.835673227875615]
  本稿では,Vector Quantized Variational AutoEncoder (VQ-VAE)を提案する。 VQ-VAEは厳密な仮定を課さないため、その潜在機能は入力のより良い表現であり、メインストリームのクラスタリング手法で優れたクラスタリング性能を得ることができる。
  論文  参考訳（メタデータ） (2022-07-20T09:47:53Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Bootstrapping Your Own Positive Sample: Contrastive Learning With Electronic Health Record Data [62.29031007761901]
  本稿では,新しいコントラスト型正規化臨床分類モデルを提案する。 EHRデータに特化した2つのユニークなポジティブサンプリング戦略を紹介します。 私たちのフレームワークは、現実世界のCOVID-19 EHRデータの死亡リスクを予測するために、競争の激しい実験結果をもたらします。
  論文  参考訳（メタデータ） (2021-04-07T06:02:04Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。