論文の概要: Principles from Clinical Research for NLP Model Generalization

• arxiv url: http://arxiv.org/abs/2311.03663v3
• Date: Tue, 2 Apr 2024 02:27:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 12:32:59.865113
• Title: Principles from Clinical Research for NLP Model Generalization
• Title（参考訳）: NLPモデル一般化のための臨床研究の原理
• Authors: Aparna Elangovan, Jiayuan He, Yuan Li, Karin Verspoor,
• Abstract要約: 一般化可能性の基礎を探求し、それに影響を与える要因について検討する。 関係抽出タスクにおけるエンティティ間の距離などの学習がモデルの内部妥当性にどのように影響するかを示す。
• 参考スコア（独自算出の注目度）: 10.985226652193543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The NLP community typically relies on performance of a model on a held-out test set to assess generalization. Performance drops observed in datasets outside of official test sets are generally attributed to "out-of-distribution" effects. Here, we explore the foundations of generalizability and study the factors that affect it, articulating lessons from clinical studies. In clinical research, generalizability is an act of reasoning that depends on (a) internal validity of experiments to ensure controlled measurement of cause and effect, and (b) external validity or transportability of the results to the wider population. We demonstrate how learning spurious correlations, such as the distance between entities in relation extraction tasks, can affect a model's internal validity and in turn adversely impact generalization. We, therefore, present the need to ensure internal validity when building machine learning models in NLP. Our recommendations also apply to generative large language models, as they are known to be sensitive to even minor semantic preserving alterations. We also propose adapting the idea of matching in randomized controlled trials and observational studies to NLP evaluation to measure causation.
• Abstract（参考訳）: NLPコミュニティは通常、一般化を評価するためにホールドアウトテストセットでモデルのパフォーマンスに依存する。 公式なテストセット以外のデータセットで観測されるパフォーマンス低下は、一般的には"配布外"の影響によるものである。 本稿では,一般性の基礎を探求し,その影響要因について考察し,臨床研究からの教訓を述べる。 臨床研究において、一般化可能性(英: generalizability)とは、推理に依る行為である。 イ 原因及び効果の制御された測定を確実にするための実験の内的妥当性及び b) より大きな人口に対する結果の外的妥当性又は輸送性 本研究では,関係抽出タスクにおけるエンティティ間の距離などの学習がモデルの内部妥当性にどのように影響し,一般化に悪影響を及ぼすかを示す。 したがって、NLPで機械学習モデルを構築する際に、内部の妥当性を確保する必要がある。 我々の勧告は、生成的大言語モデルにも適用され、マイナーな意味的保存変更にも敏感であることが知られている。 また,無作為化比較試験におけるマッチングの考え方をNLP評価に適用し,因果関係を測定することを提案する。

関連論文リスト

• Mixstyle-Entropy: Domain Generalization with Causal Intervention and Perturbation [38.97031630265987]
  ドメイン一般化(DG)は、ドメイン関連情報に依存しない表現を学習することでこの問題を解決し、未知の環境への外挿を容易にする。 既存のアプローチは典型的には、ソースデータから共有された特徴を抽出するための調整済みのトレーニング目標の定式化に重点を置いている。 InPerという因果性に基づく新しいフレームワークを提案する。これは、訓練中の因果的介入と試験中の因果的摂動を組み込むことにより、モデル一般化を強化するために設計された。
  論文  参考訳（メタデータ） (2024-08-07T07:54:19Z)
• Estimating Causal Effects with Double Machine Learning -- A Method Evaluation [5.904095466127043]
  DML(Double/Debiased Machine Learning)の最も顕著な手法の1つについてレビューする。 この結果から, DML 内でのフレキシブルな機械学習アルゴリズムの適用により, 様々な非線形共起関係の調整が向上することが示唆された。 大気汚染が住宅価格に与える影響を推定すると、DMLの見積もりは柔軟性の低い方法の推定よりも一貫して大きいことが分かる。
  論文  参考訳（メタデータ） (2024-03-21T13:21:33Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Understanding Robust Overfitting from the Feature Generalization Perspective [61.770805867606796]
  逆行訓練(AT)は、逆行摂動を自然データに組み込むことで、堅牢なニューラルネットワークを構築する。 これはロバストオーバーフィッティング(RO)の問題に悩まされ、モデルのロバスト性を著しく損なう。 本稿では,新しい特徴一般化の観点からROを考察する。
  論文  参考訳（メタデータ） (2023-10-01T07:57:03Z)
• Cross-functional Analysis of Generalisation in Behavioural Learning [4.0810783261728565]
  本稿では,異なるレベルの次元をまたいだ一般化を考慮した行動学習の分析手法であるBluGAを紹介する。 集計スコアは、目に見えない機能(または過剰適合)への一般化を測定する
  論文  参考訳（メタデータ） (2023-05-22T11:54:19Z)
• A Causal Inference Framework for Leveraging External Controls in Hybrid Trials [1.7942265700058988]
  ランダム化トライアルのデータを外部ソースの制御データで拡張した環境での因果推論に関わる課題を考察する。 提案手法は, 推定器, 評価効率境界, および効率的な2次ロバスト推定のためのアプローチである。 筋萎縮性筋萎縮症の運動機能に対するrisdisplamの効果について検討した。
  論文  参考訳（メタデータ） (2023-05-15T19:15:32Z)
• Causal Inference via Nonlinear Variable Decorrelation for Healthcare Applications [60.26261850082012]
  線形および非線形共振の両方を扱う可変デコリレーション正規化器を用いた新しい手法を提案する。 我々は、モデル解釈可能性を高めるために、元の特徴に基づくアソシエーションルールマイニングを用いた新しい表現として、アソシエーションルールを採用する。
  論文  参考訳（メタデータ） (2022-09-29T17:44:14Z)
• Confounder Identification-free Causal Visual Feature Learning [84.28462256571822]
  本稿では,創始者を特定する必要性を排除した,創始者同定自由因果視覚特徴学習(CICF)手法を提案する。 CICFは、フロントドア基準に基づいて異なるサンプル間の介入をモデル化し、インスタンスレベルの介入に対するグローバルスコープ干渉効果を近似する。 我々は,CICFと一般的なメタラーニング戦略MAMLの関係を明らかにするとともに,MAMLが理論的観点から機能する理由を解釈する。
  論文  参考訳（メタデータ） (2021-11-26T10:57:47Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Efficient Causal Inference from Combined Observational and Interventional Data through Causal Reductions [68.6505592770171]
  因果効果を推定する際の主な課題の1つである。 そこで本研究では,任意の数の高次元潜入共創者を置き換える新たな因果還元法を提案する。 パラメータ化縮小モデルを観測データと介入データから共同で推定する学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T14:29:07Z)
• Active Invariant Causal Prediction: Experiment Selection through Stability [4.56877715768796]
  本研究では、不変因果予測(ICP)に基づく新しい能動学習(実験選択)フレームワーク(A-ICP)を提案する。 一般的な構造因果モデルでは、いわゆる安定集合に対する介入の効果を特徴づける。 本稿では,A-ICPの介入選択ポリシーを提案し,因果グラフにおける応答変数の直接原因を素早く明らかにする。 実験により, 人口および有限登録実験において提案した政策の有効性を実証的に分析した。
  論文  参考訳（メタデータ） (2020-06-10T07:07:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。