論文の概要: Enhancing Robustness in Biomedical NLI Models: A Probing Approach for Clinical Trials

• arxiv url: http://arxiv.org/abs/2402.02558v1
• Date: Sun, 4 Feb 2024 16:18:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 19:03:24.959414
• Title: Enhancing Robustness in Biomedical NLI Models: A Probing Approach for Clinical Trials
• Title（参考訳）: 生体医学的nliモデルのロバスト性向上 : 臨床試験のための探索的アプローチ
• Authors: Ata Mustafa
• Abstract要約: 大規模言語モデルは、会話AI、コンテンツ生成、情報検索、ビジネスインテリジェンス、医療など、さまざまな分野や産業に革命をもたらした。 ここでは,Sci-5モデルの検討にmnestic probing(mnestic probing)を用いた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models have revolutionized various fields and industries, such as Conversational AI, Content Generation, Information Retrieval, Business Intelligence, and Medical, to name a few. One major application in the field of medical is to analyze and investigate clinical trials for entailment tasks.However, It has been observed that Large Language Models are susceptible to shortcut learning, factual inconsistency, and performance degradation with little variation in context. Adversarial and robust testing is performed to ensure the integrity of models output. But, ambiguity still persists. In order to ensure the integrity of the reasoning performed and investigate the model has correct syntactic and semantic understanding probing is used. Here, I used mnestic probing to investigate the Sci-five model, trained on clinical trial. I investigated the model for feature learnt with respect to natural logic. To achieve the target, I trained task specific probes. Used these probes to investigate the final layers of trained model. Then, fine tuned the trained model using iterative null projection. The results shows that model accuracy improved. During experimentation, I observed that size of the probe has affect on the fine tuning process.
• Abstract（参考訳）: 大規模な言語モデルによって、会話型ai、コンテンツ生成、情報検索、ビジネスインテリジェンス、医療など、さまざまな分野や産業に革命をもたらしている。 医学分野における大きな応用の一つは、包括的タスクの臨床試験の分析と調査である。しかしながら、大規模言語モデルは、学習のショートカット、事実的不整合、パフォーマンス劣化にほとんど影響しない。 モデル出力の整合性を確保するために、敵対的かつ堅牢なテストが行われる。 しかしあいまいさは今も続いている。 推論の完全性を確保するため、モデルを用いて正確な構文と意味理解を行う。 ここでは,Sci-5モデルの検討にmnestic probing(mnestic probing)を用いた。 私は自然論理に関して特徴学習のためのモデルを調査した。 目標を達成するために、タスク特定プローブを訓練しました。 訓練されたモデルの最終的な層を調べるためにこれらのプローブを使った。 そして、反復的なヌル射影を用いて訓練されたモデルを調整した。 その結果,モデル精度が向上した。 実験では,プローブの大きさが微調整過程に影響を及ぼすことがわかった。

関連論文リスト

• Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
  大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。 医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。 以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-07-11T16:51:33Z)
• Tackling the Incomplete Annotation Issue in Universal Lesion Detection Task By Exploratory Training [10.627977735890191]
  複数の臓器の病変を医用画像上で検出することを目的としているため、ユニバーサル病変検出は臨床実践に非常に有用である。 ディープラーニング手法は有望な結果を示しているが、トレーニングには大量の注釈付きデータを必要とする。 そこで,教師の予測と不完全なアノテーションを組み合わせることで,学生の学習を指導する教師学生検出モデルを提案する。
  論文  参考訳（メタデータ） (2023-09-23T08:44:07Z)
• Exploration of the Rashomon Set Assists Trustworthy Explanations for Medical Data [4.499833362998488]
  本稿では,Rashomon集合におけるモデル探索の新たなプロセスを紹介し,従来のモデリング手法を拡張した。 動作の異なるモデルを検出するために,$textttRashomon_DETECT$アルゴリズムを提案する。 モデル間の変動効果の差を定量化するために,機能的データ解析に基づくプロファイル分散指数(PDI)を導入する。
  論文  参考訳（メタデータ） (2023-08-22T13:53:43Z)
• Do We Still Need Clinical Language Models? [15.023633270864675]
  比較的小さな専門的な臨床モデルでは、コンテキスト内学習のアプローチが大幅に優れていることを示す。 physioNet Credentialed Health Dataライセンスとデータ使用契約の下で使用されるコードとモデルをリリースします。
  論文  参考訳（メタデータ） (2023-02-16T05:08:34Z)
• Probing via Prompting [71.7904179689271]
  本稿では,探索をプロンプトタスクとして定式化することで,新しいモデルフリーな探索手法を提案する。 我々は5つの探索課題について実験を行い、我々のアプローチが診断プローブよりも情報抽出に優れていることを示す。 次に,その特性に不可欠な頭部を除去し,言語モデリングにおけるモデルの性能を評価することにより,事前学習のための特定の言語特性の有用性を検討する。
  論文  参考訳（メタデータ） (2022-07-04T22:14:40Z)
• Ensemble Method for Estimating Individualized Treatment Effects [15.775032675243995]
  本稿では,多様なモデルライブラリから推定値を集約するアルゴリズムを提案する。 43のベンチマークデータセット上でのアンサンブルとモデル選択を比較して、ほぼ毎回、アンサンブルが勝つことを確認します。
  論文  参考訳（メタデータ） (2022-02-25T00:44:37Z)
• What Do You See in this Patient? Behavioral Testing of Clinical NLP Models [69.09570726777817]
  本稿では,入力の変化に関する臨床結果モデルの振る舞いを評価する拡張可能なテストフレームワークを提案する。 私たちは、同じデータを微調整しても、モデル行動は劇的に変化し、最高のパフォーマンスのモデルが常に最も医学的に可能なパターンを学習していないことを示しています。
  論文  参考訳（メタデータ） (2021-11-30T15:52:04Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)
• ABNIRML: Analyzing the Behavior of Neural IR Models [45.74073795558624]
  BERTやT5のような事前訓練された言語モデルは、アドホック検索のための新しい最先端技術を確立した。 ニューラルIRモードL(ABNIRML)の挙動解析のための包括的枠組みを提案する。 我々は、ニューラルネットワークの利得に寄与する要因についての洞察を得るための実証的研究を行う。
  論文  参考訳（メタデータ） (2020-11-02T03:07:38Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。