論文の概要: Cost-effective Instruction Learning for Pathology Vision and Language Analysis
- arxiv url: http://arxiv.org/abs/2407.17734v1
- Date: Thu, 25 Jul 2024 03:12:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-26 15:27:36.612891
- Title: Cost-effective Instruction Learning for Pathology Vision and Language Analysis
- Title（参考訳）: 病的ビジョンと言語分析のための費用対効果学習
- Authors: Kaitao Chen, Mianxin Liu, Fang Yan, Lei Ma, Xiaoming Shi, Lilong Wang, Xiaosong Wang, Lifeng Zhu, Zhe Wang, Mu Zhou, Shaoting Zhang,
- Abstract要約: CLOVER という名称の会話病理学のための費用対効果学習フレームワークを提案する。
CLOVERは軽量モジュールのみをトレーニングし、大きな言語モデルのパラメータを凍結しながら命令チューニングを使用する。
そこで我々は,デジタル病理学の文脈において,高品質なテンプレートベースの命令セットを構築する。
- 参考スコア（独自算出の注目度）: 23.330914902014527
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The advent of vision-language models fosters the interactive conversations between AI-enabled models and humans. Yet applying these models into clinics must deal with daunting challenges around large-scale training data, financial, and computational resources. Here we propose a cost-effective instruction learning framework for conversational pathology named as CLOVER. CLOVER only trains a lightweight module and uses instruction tuning while freezing the parameters of the large language model. Instead of using costly GPT-4, we propose well-designed prompts on GPT-3.5 for building generation-based instructions, emphasizing the utility of pathological knowledge derived from the Internet source. To augment the use of instructions, we construct a high-quality set of template-based instructions in the context of digital pathology. From two benchmark datasets, our findings reveal the strength of hybrid-form instructions in the visual question-answer in pathology. Extensive results show the cost-effectiveness of CLOVER in answering both open-ended and closed-ended questions, where CLOVER outperforms strong baselines that possess 37 times more training parameters and use instruction data generated from GPT-4. Through the instruction tuning, CLOVER exhibits robustness of few-shot learning in the external clinical dataset. These findings demonstrate that cost-effective modeling of CLOVER could accelerate the adoption of rapid conversational applications in the landscape of digital pathology.
- Abstract（参考訳）: 視覚言語モデルの出現は、AI対応モデルと人間との対話を促進する。
しかし、これらのモデルを診療所に適用するには、大規模なトレーニングデータ、財務、計算資源に関する厄介な課題に対処する必要がある。
本稿では,CLOVER という名称の会話病理学のための費用対効果学習フレームワークを提案する。
CLOVERは軽量モジュールのみをトレーニングし、大きな言語モデルのパラメータを凍結しながら命令チューニングを使用する。
コストのかかるGPT-4を使わず,GPT-3.5で生成命令を作成できるプロンプトを提案し,インターネットから派生した病的知識の有用性を強調した。
そこで我々は,デジタル病理学の文脈において,高品質なテンプレートベースの命令セットを構築する。
2つのベンチマークデータセットから,病理学における視覚的質問応答におけるハイブリッドフォーム命令の強さを明らかにした。
CLOVERは37倍以上のトレーニングパラメータを持つ強いベースラインを上回り、GPT-4から生成された命令データを使用する。
インストラクションチューニングを通じて、CLOVERは、外部臨床データセットにおいて、少数ショット学習の堅牢性を示す。
これらの結果から,CLOVERの費用対効果モデルにより,デジタル病理学の分野での迅速な対話型アプリケーションの導入が促進される可能性が示唆された。
関連論文リスト
- LLaVA Needs More Knowledge: Retrieval Augmented Natural Language Generation with Knowledge Graph for Explaining Thoracic Pathologies [3.2221734920470797]
医用画像のための自然言語記述(NLE)を生成するために,知識グラフ(KG)ベースのデータストアを付加したビジョンランゲージフレームワークを提案する。
本フレームワークでは,生成した説明の精度を向上するだけでなく,直接データ検索を回避してデータのプライバシーを保護できるKGベースの検索機構を採用している。
これらのフレームワークはMIMIC-NLEデータセット上で検証され、最先端の結果が得られる。
論文 参考訳（メタデータ） (2024-10-07T04:59:08Z) - CoRTEx: Contrastive Learning for Representing Terms via Explanations
with Applications on Constructing Biomedical Knowledge Graphs [9.328980260014216]
UMLS(Unified Medical Language System)で訓練された従来の対照的な学習モデルは、難解な用語をクラスタリングするのに苦労した。
言語モデル(LLM)からの世界知識を活用して、項表現を強化し、項クラスタリングを大幅に改善する。
論文 参考訳（メタデータ） (2023-12-13T10:29:34Z) - PathLDM: Text conditioned Latent Diffusion Model for Histopathology [62.970593674481414]
そこで我々は,高品質な病理像を生成するためのテキスト条件付き遅延拡散モデルPathLDMを紹介した。
提案手法は画像とテキストデータを融合して生成プロセスを強化する。
我々は,TCGA-BRCAデータセット上でのテキスト・ツー・イメージ生成において,SoTA FIDスコア7.64を達成し,FID30.1と最も近いテキスト・コンディショナブル・コンペティタを著しく上回った。
論文 参考訳（メタデータ） (2023-09-01T22:08:32Z) - Multi-Site Clinical Federated Learning using Recursive and Attentive
Models and NVFlare [13.176351544342735]
本稿では、データプライバシと規制コンプライアンスの課題に対処する統合フレームワークを開発する。
これには、データのプライバシと規制コンプライアンスの課題に対処し、高い精度を維持し、提案されたアプローチの有効性を実証する統合フレームワークの開発が含まれている。
論文 参考訳（メタデータ） (2023-06-28T17:00:32Z) - Mitigating Hallucination in Large Multi-Modal Models via Robust Instruction Tuning [92.85265959892115]
本稿では,Large-scale Robust Visual (LRV)-Instructionという,大規模かつ多様な視覚的インストラクションチューニングデータセットを紹介する。
本データセットは, GPT4が生成した400kの視覚的命令からなり, 16の視覚・言語的タスクをオープンエンドの指示と回答でカバーする。
LMMが生み出す幻覚を効果的に測定するために,人間の専門家による視覚指導のチューニングを安定的に評価するためのGAVIE(GPT4-Assisted Visual Instruction Evaluation)を提案する。
論文 参考訳（メタデータ） (2023-06-26T10:26:33Z) - Large Language Models for Biomedical Knowledge Graph Construction:
Information extraction from EMR notes [0.0]
大規模言語モデル(LLM)に基づくエンドツーエンド機械学習ソリューションを提案する。
KG構築プロセスで使用される物質は、疾患、因子、治療、および疾患を経験中に患者と共存する症状である。
提案手法の応用は加齢に伴う黄斑変性に対して実証される。
論文 参考訳（メタデータ） (2023-01-29T15:52:33Z) - Textual Data Augmentation for Patient Outcomes Prediction [67.72545656557858]
本稿では,患者の電子カルテに人工的な臨床ノートを作成するための新しいデータ拡張手法を提案する。
生成言語モデルGPT-2を微調整し、ラベル付きテキストを元のトレーニングデータで合成する。
今回,最も多い患者,すなわち30日間の寛解率について検討した。
論文 参考訳（メタデータ） (2022-11-13T01:07:23Z) - Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph
Construction [57.854498238624366]
本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。
RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
論文 参考訳（メタデータ） (2022-10-19T16:40:28Z) - Demystifying Deep Learning Models for Retinal OCT Disease Classification
using Explainable AI [0.6117371161379209]
様々な深層学習技術の採用は、非常に一般的かつ効果的であり、網膜光コヒーレンス・トモグラフィー分野に実装する上でも同様に真実である。
これらの技術はブラックボックスの特徴を持ち、医療従事者がそれらの成果を完全に信頼できないようにする。
本稿では,この研究に説明可能なAIを導入したLimeの使用とともに,比較的小型で簡易な自己開発CNNモデルを提案する。
論文 参考訳（メタデータ） (2021-11-06T13:54:07Z) - VBridge: Connecting the Dots Between Features, Explanations, and Data
for Healthcare Models [85.4333256782337]
VBridgeは、臨床医の意思決定ワークフローに機械学習の説明をシームレスに組み込むビジュアル分析ツールである。
我々は,臨床医がMLの特徴に慣れていないこと,文脈情報の欠如,コホートレベルの証拠の必要性など,3つの重要な課題を特定した。
症例スタディと専門医4名のインタビューを通じて, VBridgeの有効性を実証した。
論文 参考訳（メタデータ） (2021-08-04T17:34:13Z) - A Meta-embedding-based Ensemble Approach for ICD Coding Prediction [64.42386426730695]
国際疾病分類 (icd) は、世界中で臨床コーディングに使われているデファクトコードである。
これらのコードにより、医療提供者は償還を請求し、診断情報の効率的な保管と検索を容易にします。
提案手法は,日常的な医学データと科学論文の外部知識を用いて,効果的に単語ベクトルを訓練することにより,神経モデルの性能を高める。
論文 参考訳（メタデータ） (2021-02-26T17:49:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。