論文の概要: Principles from Clinical Research for NLP Model Generalization

• arxiv url: http://arxiv.org/abs/2311.03663v2
• Date: Thu, 9 Nov 2023 15:09:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 12:12:00.115679
• Title: Principles from Clinical Research for NLP Model Generalization
• Title（参考訳）: NLPモデル一般化のための臨床研究の原理
• Authors: Aparna Elangovan, Jiayuan He, Yuan Li, Karin Verspoor
• Abstract要約: 臨床研究における一般化可能性は、(a)原因と効果の制御された測定を確実にするための実験の内部的妥当性と、(b)結果のより広い人口への外部的妥当性または輸送性に依存する。 本研究では,関係抽出タスクにおけるエンティティ間の距離などの素因がモデル内部の妥当性にどのように影響し,一般化に悪影響を及ぼすかを示す。
• 参考スコア（独自算出の注目度）: 12.000570944219515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The NLP community typically relies on performance of a model on a held-out test set to assess generalization. Performance drops observed in datasets outside of official test sets are generally attributed to "out-of-distribution'' effects. Here, we explore the foundations of generalizability and study the various factors that affect it, articulating generalizability lessons from clinical studies. In clinical research generalizability depends on (a) internal validity of experiments to ensure controlled measurement of cause and effect, and (b) external validity or transportability of the results to the wider population. We present the need to ensure internal validity when building machine learning models in natural language processing, especially where results may be impacted by spurious correlations in the data. We demonstrate how spurious factors, such as the distance between entities in relation extraction tasks, can affect model internal validity and in turn adversely impact generalization. We also offer guidance on how to analyze generalization failures.
• Abstract（参考訳）: NLPコミュニティは通常、一般化を評価するためにホールドアウトテストセットでモデルのパフォーマンスに依存する。 公式のテストセット以外でデータセットで観察されるパフォーマンス低下は、一般的に"分散外"効果に起因する。 そこで本研究では,一般性の基礎を探求し,その影響する諸要因について考察し,臨床研究から一般性を学ぶ。 臨床研究の一般性は a)原因及び効果の制御された測定を確実にするための実験の内部妥当性及び (b)より広い人口に対して結果の外部的妥当性又は輸送性。 本稿では,自然言語処理における機械学習モデル構築において,内部的妥当性を確保する必要性について述べる。 本研究では,関係抽出タスクにおけるエンティティ間の距離などの素因がモデル内部の妥当性にどのように影響し,一般化に悪影響を及ぼすかを示す。 また、一般化失敗の分析方法に関するガイダンスも提供します。

関連論文リスト

• Mixstyle-Entropy: Domain Generalization with Causal Intervention and Perturbation [38.97031630265987]
  ドメイン一般化(DG)は、ドメイン関連情報に依存しない表現を学習することでこの問題を解決し、未知の環境への外挿を容易にする。 既存のアプローチは典型的には、ソースデータから共有された特徴を抽出するための調整済みのトレーニング目標の定式化に重点を置いている。 InPerという因果性に基づく新しいフレームワークを提案する。これは、訓練中の因果的介入と試験中の因果的摂動を組み込むことにより、モデル一般化を強化するために設計された。
  論文  参考訳（メタデータ） (2024-08-07T07:54:19Z)
• Estimating Causal Effects with Double Machine Learning -- A Method Evaluation [5.904095466127043]
  DML(Double/Debiased Machine Learning)の最も顕著な手法の1つについてレビューする。 この結果から, DML 内でのフレキシブルな機械学習アルゴリズムの適用により, 様々な非線形共起関係の調整が向上することが示唆された。 大気汚染が住宅価格に与える影響を推定すると、DMLの見積もりは柔軟性の低い方法の推定よりも一貫して大きいことが分かる。
  論文  参考訳（メタデータ） (2024-03-21T13:21:33Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Understanding Robust Overfitting from the Feature Generalization Perspective [61.770805867606796]
  逆行訓練(AT)は、逆行摂動を自然データに組み込むことで、堅牢なニューラルネットワークを構築する。 これはロバストオーバーフィッティング(RO)の問題に悩まされ、モデルのロバスト性を著しく損なう。 本稿では,新しい特徴一般化の観点からROを考察する。
  論文  参考訳（メタデータ） (2023-10-01T07:57:03Z)
• Cross-functional Analysis of Generalisation in Behavioural Learning [4.0810783261728565]
  本稿では,異なるレベルの次元をまたいだ一般化を考慮した行動学習の分析手法であるBluGAを紹介する。 集計スコアは、目に見えない機能(または過剰適合)への一般化を測定する
  論文  参考訳（メタデータ） (2023-05-22T11:54:19Z)
• A Causal Inference Framework for Leveraging External Controls in Hybrid Trials [1.7942265700058988]
  ランダム化トライアルのデータを外部ソースの制御データで拡張した環境での因果推論に関わる課題を考察する。 提案手法は, 推定器, 評価効率境界, および効率的な2次ロバスト推定のためのアプローチである。 筋萎縮性筋萎縮症の運動機能に対するrisdisplamの効果について検討した。
  論文  参考訳（メタデータ） (2023-05-15T19:15:32Z)
• Causal Inference via Nonlinear Variable Decorrelation for Healthcare Applications [60.26261850082012]
  線形および非線形共振の両方を扱う可変デコリレーション正規化器を用いた新しい手法を提案する。 我々は、モデル解釈可能性を高めるために、元の特徴に基づくアソシエーションルールマイニングを用いた新しい表現として、アソシエーションルールを採用する。
  論文  参考訳（メタデータ） (2022-09-29T17:44:14Z)
• Confounder Identification-free Causal Visual Feature Learning [84.28462256571822]
  本稿では,創始者を特定する必要性を排除した,創始者同定自由因果視覚特徴学習(CICF)手法を提案する。 CICFは、フロントドア基準に基づいて異なるサンプル間の介入をモデル化し、インスタンスレベルの介入に対するグローバルスコープ干渉効果を近似する。 我々は,CICFと一般的なメタラーニング戦略MAMLの関係を明らかにするとともに,MAMLが理論的観点から機能する理由を解釈する。
  論文  参考訳（メタデータ） (2021-11-26T10:57:47Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Efficient Causal Inference from Combined Observational and Interventional Data through Causal Reductions [68.6505592770171]
  因果効果を推定する際の主な課題の1つである。 そこで本研究では,任意の数の高次元潜入共創者を置き換える新たな因果還元法を提案する。 パラメータ化縮小モデルを観測データと介入データから共同で推定する学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T14:29:07Z)
• Active Invariant Causal Prediction: Experiment Selection through Stability [4.56877715768796]
  本研究では、不変因果予測(ICP)に基づく新しい能動学習(実験選択)フレームワーク(A-ICP)を提案する。 一般的な構造因果モデルでは、いわゆる安定集合に対する介入の効果を特徴づける。 本稿では,A-ICPの介入選択ポリシーを提案し,因果グラフにおける応答変数の直接原因を素早く明らかにする。 実験により, 人口および有限登録実験において提案した政策の有効性を実証的に分析した。
  論文  参考訳（メタデータ） (2020-06-10T07:07:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。