論文の概要: Principles from Clinical Research for NLP Model Generalization
- arxiv url: http://arxiv.org/abs/2311.03663v2
- Date: Thu, 9 Nov 2023 15:09:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-10 12:12:00.115679
- Title: Principles from Clinical Research for NLP Model Generalization
- Title(参考訳): NLPモデル一般化のための臨床研究の原理
- Authors: Aparna Elangovan, Jiayuan He, Yuan Li, Karin Verspoor
- Abstract要約: 臨床研究における一般化可能性は、(a)原因と効果の制御された測定を確実にするための実験の内部的妥当性と、(b)結果のより広い人口への外部的妥当性または輸送性に依存する。
本研究では,関係抽出タスクにおけるエンティティ間の距離などの素因がモデル内部の妥当性にどのように影響し,一般化に悪影響を及ぼすかを示す。
- 参考スコア(独自算出の注目度): 12.000570944219515
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The NLP community typically relies on performance of a model on a held-out
test set to assess generalization. Performance drops observed in datasets
outside of official test sets are generally attributed to
"out-of-distribution'' effects. Here, we explore the foundations of
generalizability and study the various factors that affect it, articulating
generalizability lessons from clinical studies. In clinical research
generalizability depends on (a) internal validity of experiments to ensure
controlled measurement of cause and effect, and (b) external validity or
transportability of the results to the wider population. We present the need to
ensure internal validity when building machine learning models in natural
language processing, especially where results may be impacted by spurious
correlations in the data. We demonstrate how spurious factors, such as the
distance between entities in relation extraction tasks, can affect model
internal validity and in turn adversely impact generalization. We also offer
guidance on how to analyze generalization failures.
- Abstract(参考訳): NLPコミュニティは通常、一般化を評価するためにホールドアウトテストセットでモデルのパフォーマンスに依存する。
公式のテストセット以外でデータセットで観察されるパフォーマンス低下は、一般的に"分散外"効果に起因する。
そこで本研究では,一般性の基礎を探求し,その影響する諸要因について考察し,臨床研究から一般性を学ぶ。
臨床研究の一般性は
a)原因及び効果の制御された測定を確実にするための実験の内部妥当性及び
(b)より広い人口に対して結果の外部的妥当性又は輸送性。
本稿では,自然言語処理における機械学習モデル構築において,内部的妥当性を確保する必要性について述べる。
本研究では,関係抽出タスクにおけるエンティティ間の距離などの素因がモデル内部の妥当性にどのように影響し,一般化に悪影響を及ぼすかを示す。
また、一般化失敗の分析方法に関するガイダンスも提供します。
関連論文リスト
- Discovery of the Hidden World with Large Language Models [100.38157787218044]
COAT: Causal representatiOn AssistanTについて紹介する。
COATは、非構造化データから潜在的な因果因子を抽出する因子プロジェクタとしてLLMを組み込んでいる。
LLMはデータ値の収集に使用される追加情報を提供するよう指示することもできる。
論文 参考訳(メタデータ) (2024-02-06T12:18:54Z) - A Neural Framework for Generalized Causal Sensitivity Analysis [83.40814307588293]
本稿では,因果感受性分析のためのニューラルネットワークフレームワークであるNeuralCSAを提案する。
我々は、NeuralCSAが関心の因果クエリに有効な境界を推測できることを理論的に保証する。
論文 参考訳(メタデータ) (2023-11-27T17:40:02Z) - Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。
提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。
我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
論文 参考訳(メタデータ) (2023-10-14T13:56:24Z) - Cross-functional Analysis of Generalisation in Behavioural Learning [4.0810783261728565]
本稿では,異なるレベルの次元をまたいだ一般化を考慮した行動学習の分析手法であるBluGAを紹介する。
集計スコアは、目に見えない機能(または過剰適合)への一般化を測定する
論文 参考訳(メタデータ) (2023-05-22T11:54:19Z) - Interpretable Deep Causal Learning for Moderation Effects [0.0]
本稿では、因果機械学習モデルにおける解釈可能性と目標正規化の問題に対処する。
本稿では,個別の処理効果を推定するための新しい深層対実学習アーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-06-21T11:21:09Z) - Generalizing experimental findings: identification beyond adjustments [2.5889737226898437]
ランダム化比較試験(RCT)の結果を,観測データを用いて対象集団に一般化することを目的としている。
実験結果が調整によって一般化できない事例を考察する。
この一般化は、do-calculusを適用することで導出できる他の識別戦略によっても可能であることを示す。
論文 参考訳(メタデータ) (2022-06-14T09:00:17Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z) - Confounder Identification-free Causal Visual Feature Learning [84.28462256571822]
本稿では,創始者を特定する必要性を排除した,創始者同定自由因果視覚特徴学習(CICF)手法を提案する。
CICFは、フロントドア基準に基づいて異なるサンプル間の介入をモデル化し、インスタンスレベルの介入に対するグローバルスコープ干渉効果を近似する。
我々は,CICFと一般的なメタラーニング戦略MAMLの関係を明らかにするとともに,MAMLが理論的観点から機能する理由を解釈する。
論文 参考訳(メタデータ) (2021-11-26T10:57:47Z) - Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文 参考訳(メタデータ) (2021-06-07T17:47:16Z) - A Review of Generalizability and Transportability [0.18275108630751835]
ランダム化されたデータからの見積もりは内部的妥当性を持つが、しばしば対象人口を表すものではない。
観測データは対象の個体群をよりよく反映し、したがって外的妥当性が高いが、未測定の埋没により潜在的なバイアスにさらされる可能性がある。
本稿では,一般化可能性と可搬性に対するアプローチの合成を含む外部妥当性バイアスに対処するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2021-02-23T19:34:13Z) - Active Invariant Causal Prediction: Experiment Selection through
Stability [4.56877715768796]
本研究では、不変因果予測(ICP)に基づく新しい能動学習(実験選択)フレームワーク(A-ICP)を提案する。
一般的な構造因果モデルでは、いわゆる安定集合に対する介入の効果を特徴づける。
本稿では,A-ICPの介入選択ポリシーを提案し,因果グラフにおける応答変数の直接原因を素早く明らかにする。
実験により, 人口および有限登録実験において提案した政策の有効性を実証的に分析した。
論文 参考訳(メタデータ) (2020-06-10T07:07:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。