論文の概要: Efficient and Comprehensive Feature Extraction in Large Vision-Language Model for Clinical Pathology Analysis
- arxiv url: http://arxiv.org/abs/2412.09521v1
- Date: Thu, 12 Dec 2024 18:07:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-13 13:33:54.722572
- Title: Efficient and Comprehensive Feature Extraction in Large Vision-Language Model for Clinical Pathology Analysis
- Title(参考訳): 臨床病理診断における大規模視線モデルの有用性と包括的特徴抽出
- Authors: Shengxuming Zhang, Weihan Li, Tianhong Gao, Jiacong Hu, Haoming Luo, Mingli Song, Xiuming Zhang, Zunlei Feng,
- Abstract要約: 病理診断は疾患の特徴の決定、治療指導、予後評価に不可欠である。
従来の純粋な視覚モデルは、冗長な特徴抽出の課題に直面している。
既存の視覚言語モデル(LVLM)は、入力解像度の制約によって制限され、その効率と精度を損なう。
課題誘導型機能拡張と課題誘導型詳細機能補完の2つの革新的戦略を提案する。
- 参考スコア(独自算出の注目度): 34.199766079609795
- License:
- Abstract: Pathological diagnosis is vital for determining disease characteristics, guiding treatment, and assessing prognosis, relying heavily on detailed, multi-scale analysis of high-resolution whole slide images (WSI). However, traditional pure vision models face challenges of redundant feature extraction, whereas existing large vision-language models (LVLMs) are limited by input resolution constraints, hindering their efficiency and accuracy. To overcome these issues, we propose two innovative strategies: the mixed task-guided feature enhancement, which directs feature extraction toward lesion-related details across scales, and the prompt-guided detail feature completion, which integrates coarse- and fine-grained features from WSI based on specific prompts without compromising inference speed. Leveraging a comprehensive dataset of 490,000 samples from diverse pathology tasks-including cancer detection, grading, vascular and neural invasion identification, and so on-we trained the pathology-specialized LVLM, OmniPath. Extensive experiments demonstrate that this model significantly outperforms existing methods in diagnostic accuracy and efficiency, offering an interactive, clinically aligned approach for auxiliary diagnosis in a wide range of pathology applications.
- Abstract(参考訳): 病理診断は,高分解能全スライド画像(WSI)の詳細なマルチスケール解析に大きく依存し,疾患の特徴判定,治療指導,予後評価に不可欠である。
しかし、従来の純粋視覚モデルは冗長な特徴抽出の課題に直面しているが、既存の大規模視覚言語モデル(LVLM)は入力解像度の制約によって制限されており、効率と精度を損なう。
これらの課題を克服するために, 大規模の病変関連詳細に対して特徴抽出を指示する混合タスク誘導機能拡張と, 推論速度を損なうことなく, 特定のプロンプトに基づいてWSIから粗い, きめ細かな特徴を統合するプロンプト誘導機能補完という2つの革新的な戦略を提案する。
がん検出,グレーディング,血管および神経浸潤の同定など,さまざまな病理タスクから490,000サンプルの包括的なデータセットを活用することで,我々は,病理専門のLVLMであるOmniPathを訓練した。
広範な実験により、このモデルは診断精度と効率において既存の手法を著しく上回り、広範囲の病理応用において、インタラクティブで臨床的に整合した診断方法を提供することが示されている。
関連論文リスト
- TopOC: Topological Deep Learning for Ovarian and Breast Cancer Diagnosis [3.262230127283452]
トポロジカルデータ分析は、異なる色チャネルにわたるトポロジカルパターンの評価を通じて重要な情報を抽出することで、ユニークなアプローチを提供する。
卵巣癌と乳癌では, トポロジカルな特徴を取り入れることで, 腫瘍型の分化が著しく向上することが示唆された。
論文 参考訳(メタデータ) (2024-10-13T12:24:13Z) - Super-resolution of biomedical volumes with 2D supervision [84.5255884646906]
超解像のための仮設スライス拡散は、生物学的標本のすべての空間次元にわたるデータ生成分布の固有同値性を利用する。
我々は,高解像度2次元画像の高速取得を特徴とするSliceRの組織学的刺激(SRH)への応用に着目する。
論文 参考訳(メタデータ) (2024-04-15T02:41:55Z) - Unified Uncertainty Estimation for Cognitive Diagnosis Models [70.46998436898205]
本稿では,幅広い認知診断モデルに対する統一的不確実性推定手法を提案する。
診断パラメータの不確かさをデータ・アスペクトとモデル・アスペクトに分解する。
本手法は有効であり,認知診断の不確実性に関する有用な知見を提供することができる。
論文 参考訳(メタデータ) (2024-03-09T13:48:20Z) - Optimizing Skin Lesion Classification via Multimodal Data and Auxiliary
Task Integration [54.76511683427566]
本研究は, スマートフォンで撮影した画像と本質的な臨床および人口統計情報を統合することで, 皮膚病変を分類する新しいマルチモーダル手法を提案する。
この手法の特徴は、超高解像度画像予測に焦点を当てた補助的なタスクの統合である。
PAD-UFES20データセットを用いて,様々なディープラーニングアーキテクチャを用いて実験を行った。
論文 参考訳(メタデータ) (2024-02-16T05:16:20Z) - Diagnosis Of Takotsubo Syndrome By Robust Feature Selection From The
Complex Latent Space Of DL-based Segmentation Network [4.583480375083946]
医学における分類モデルやセグメンテーションモデルを用いて、潜伏した特徴を学習し、堅牢な特徴選択をオプトアウトし、過度な適合につながる可能性がある。
本稿では,診断を支援するセグメンテーションモデルの潜在空間を用いた特徴選択手法を提案する。
診断精度82%が従来のSOTA (State-of-the-art) を上回り, 心疾患の鑑別診断に有用であった。
論文 参考訳(メタデータ) (2023-12-19T22:53:32Z) - Validating polyp and instrument segmentation methods in colonoscopy through Medico 2020 and MedAI 2021 Challenges [58.32937972322058]
メディコオートマチックポリープセグメンテーション(Medico 2020)と「メディコ:医療画像の透明性(MedAI 2021)」コンペティション。
本報告では, それぞれのコントリビューションを包括的に分析し, ベストパフォーマンスメソッドの強さを強調し, クリニックへの臨床翻訳の可能性について考察する。
論文 参考訳(メタデータ) (2023-07-30T16:08:45Z) - Detecting Histologic & Clinical Glioblastoma Patterns of Prognostic
Relevance [6.281092892485014]
グリオ芽腫は中枢神経系で最も一般的で攻撃的な悪性成人腫瘍である。
18年前に現在の標準治療を採用して以降,実質的な予後改善は認められていない。
ここでは,H&E染色WSIとOSに関する臨床データから,予後関連特性の同定に焦点をあてる。
論文 参考訳(メタデータ) (2023-02-01T18:56:09Z) - Benchmarking Heterogeneous Treatment Effect Models through the Lens of
Interpretability [82.29775890542967]
治療のパーソナライズされた効果を見積もるのは複雑だが、普及している問題である。
ヘテロジニアス処理効果推定に関する機械学習文献の最近の進歩は、洗練されたが不透明なツールの多くを生み出した。
我々は、ポストホックな特徴重要度法を用いて、モデルの予測に影響を及ぼす特徴を特定する。
論文 参考訳(メタデータ) (2022-06-16T17:59:05Z) - Scalable Online Disease Diagnosis via Multi-Model-Fused Actor-Critic
Reinforcement Learning [9.274138493400436]
医療のアドバイスをオンラインで求めている人にとっては、患者と対話して自動的に疾患を診断できるAIベースの対話エージェントが有効な選択肢だ。
これは、強化学習(RL)アプローチを自然解として提案した逐次的特徴(症状)選択と分類の問題として定式化することができる。
生成的アクターネットワークと診断批評家ネットワークから構成されるMMF-AC(Multi-Model-Fused Actor-Critic)フレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-08T03:06:16Z) - Inheritance-guided Hierarchical Assignment for Clinical Automatic
Diagnosis [50.15205065710629]
臨床診断は、臨床ノートに基づいて患者に診断符号を割り当てることを目的としており、臨床意思決定において重要な役割を担っている。
本稿では,臨床自動診断のための継承誘導階層と共起グラフの伝播を組み合わせた新しい枠組みを提案する。
論文 参考訳(メタデータ) (2021-01-27T13:16:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。