Fugu-MT 論文翻訳(概要): Lisbon Computational Linguists at SemEval-2024 Task 2: Using A Mistral 7B Model and Data Augmentation

論文の概要: Lisbon Computational Linguists at SemEval-2024 Task 2: Using A Mistral 7B Model and Data Augmentation

arxiv url: http://arxiv.org/abs/2408.03127v1
Date: Tue, 6 Aug 2024 11:59:09 GMT
ステータス: 処理完了
システム内更新日: 2024-08-07 14:17:45.566535
Title: Lisbon Computational Linguists at SemEval-2024 Task 2: Using A Mistral 7B Model and Data Augmentation
Title（参考訳）: SemEval-2024 Task 2におけるリスボン計算言語学者:Mistral 7Bモデルとデータ拡張を用いて
Authors: Artur Guimarães, Bruno Martins, João Magalhães,
Abstract要約: 我々はNLI4CTタスクのプロンプトを開発し、トレーニングデータセットの強化バージョンを使用してモデルの量子化バージョンを微調整する。実験結果から,マクロF1スコアを用いて,本手法により顕著な結果が得られることが示された。
参考スコア（独自算出の注目度）: 6.655410984703003
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: This paper describes our approach to the SemEval-2024 safe biomedical Natural Language Inference for Clinical Trials (NLI4CT) task, which concerns classifying statements about Clinical Trial Reports (CTRs). We explored the capabilities of Mistral-7B, a generalist open-source Large Language Model (LLM). We developed a prompt for the NLI4CT task, and fine-tuned a quantized version of the model using an augmented version of the training dataset. The experimental results show that this approach can produce notable results in terms of the macro F1-score, while having limitations in terms of faithfulness and consistency. All the developed code is publicly available on a GitHub repository
Abstract（参考訳）: 本稿では,臨床トライアル報告(CTR)に関する記述を分類することを目的とした,安全なバイオメディカル自然言語推論(NLI4CT)タスクに対するSemEval-2024のアプローチについて述べる。汎用オープンソースLarge Language Model (LLM) であるMistral-7Bの機能について検討した。我々はNLI4CTタスクのプロンプトを開発し、トレーニングデータセットの強化版を用いてモデルの量子化バージョンを微調整した。実験結果から, マクロF1スコアの観点では, 忠実度と一貫性の点で限界があり, 顕著な結果が得られることが示された。開発済みのコードはGitHubリポジトリで公開されています

関連論文リスト

Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
論文参考訳（メタデータ） (2024-08-22T17:01:34Z)
SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。 SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
論文参考訳（メタデータ） (2024-06-10T21:22:08Z)
Universal and Extensible Language-Vision Models for Organ Segmentation and Tumor Detection from Abdominal Computed Tomography [50.08496922659307]
本稿では、単一のモデルであるUniversal Modelが複数の公開データセットに対処し、新しいクラスに適応することを可能にするユニバーサルフレームワークを提案する。まず,大規模言語モデルからの言語埋め込みを利用した新しい言語駆動パラメータ生成手法を提案する。第二に、従来の出力層は軽量でクラス固有のヘッドに置き換えられ、ユニバーサルモデルでは25の臓器と6種類の腫瘍を同時に分割することができる。
論文参考訳（メタデータ） (2024-05-28T16:55:15Z)
SEME at SemEval-2024 Task 2: Comparing Masked and Generative Language Models on Natural Language Inference for Clinical Trials [0.9012198585960441]
本稿では,SemEval-2024: Safe Biomedical Natural Language Inference for Clinical Trialsについて述べる。 NLI4CT(Multi-evidence Natural Language Inference for Clinical Trial Data)は、自然言語推論(NLI)モデルの整合性と忠実性の評価に焦点をあてたテキスト・エンターメント・タスクである。
論文参考訳（メタデータ） (2024-04-05T09:18:50Z)
Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文参考訳（メタデータ） (2024-03-12T18:12:02Z)
The All-Seeing Project V2: Towards General Relation Comprehension of the Open World [58.40101895719467]
本稿では,画像のオブジェクト関係を理解するために設計された新しいモデルとデータセットであるAll-Seeing Project V2を紹介する。本稿では,テキスト生成,オブジェクトローカライゼーション,関係理解の定式化を関係会話タスクに統合するAll-Seeing Model V2を提案する。我々のモデルは、画像内の全ての物体を知覚・認識するだけでなく、それらの間の複雑な関係グラフの把握にも優れている。
論文参考訳（メタデータ） (2024-02-29T18:59:17Z)
Exploring the Effectiveness of Instruction Tuning in Biomedical Language Processing [19.41164870575055]
本研究では,バイオメディカル言語処理における指導指導の可能性について検討する。約20,000ドルのインストラクション中心のサンプルからなるデータセットで訓練された包括的,命令ベースのモデルを提案する。
論文参考訳（メタデータ） (2023-12-31T20:02:10Z)
Exploring Prompting Large Language Models as Explainable Metrics [0.0]
本稿では,Large Language Models (LLMs) を用いた要約タスクの説明可能な評価のためのゼロショットプロンプトベースの戦略を提案する。自然言語処理(NLP)における評価指標としてのLCMの有望な可能性を示す実験を行った。得られた最良プロンプトの性能は、テストデータ上のテキスト要約タスクにおける人間の評価と、0.477のKendall相関を達成した。
論文参考訳（メタデータ） (2023-11-20T06:06:22Z)
PULSAR at MEDIQA-Sum 2023: Large Language Models Augmented by Synthetic Dialogue Convert Patient Dialogues to Medical Records [23.25763256861649]
本稿では,患者と医師の対話を臨床記録に要約するImageClef 2023 MediQA-SumタスクのシステムであるPULSARについて述べる。提案するフレームワークは、タスク固有の自然データに基づいて訓練された特化言語モデルを生成するために、ドメイン固有の事前学習に依存している。ドメイン固有の事前学習とデータ拡張の有効性を示す限定的な証拠が得られ、一方、言語モデルのスケールアップは、最高のパフォーマンス向上をもたらす。
論文参考訳（メタデータ） (2023-07-05T03:31:12Z)
NLI4CT: Multi-Evidence Natural Language Inference for Clinical Trial Reports [3.0468533447146244]
臨床治験報告に基づくNLI研究の進展に向けた新たな資料を提示する。 NLI4CTは2400の文とCTRからなるコーパスで、これらのタスクに注釈を付ける。私たちの知る限りでは、私たちは完全なCTRの解釈をカバーするタスクを最初に設計しました。
論文参考訳（メタデータ） (2023-05-05T15:03:01Z)
Development and validation of a natural language processing algorithm to pseudonymize documents in the context of a clinical data warehouse [53.797797404164946]
この研究は、この領域でツールやリソースを共有する際に直面する困難を浮き彫りにしている。臨床文献のコーパスを12種類に分類した。私たちは、ディープラーニングモデルと手動ルールの結果をマージして、ハイブリッドシステムを構築します。
論文参考訳（メタデータ） (2023-03-23T17:17:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。