論文の概要: Knowledge Boosting: Rethinking Medical Contrastive Vision-Language Pre-Training

• arxiv url: http://arxiv.org/abs/2307.07246v1
• Date: Fri, 14 Jul 2023 09:38:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-17 14:20:19.951846
• Title: Knowledge Boosting: Rethinking Medical Contrastive Vision-Language Pre-Training
• Title（参考訳）: 知識強化:医学的コントラストビジョン-言語前訓練の再考
• Authors: Xiaofei Chen, Yuting He, Cheng Xue, Rongjun Ge, Shuo Li, Guanyu Yang
• Abstract要約: 知識ブースティング・コントラスト・ビジョン・ランゲージ事前学習フレームワーク(KoBo)を提案する。 KoBoは、臨床知識を視覚言語意味一貫性の学習に統合する。 分類,セグメンテーション,検索,意味的関連性を含む8つのタスクに対するフレームワークの効果を検証する実験を行った。
• 参考スコア（独自算出の注目度）: 6.582001681307021
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The foundation models based on pre-training technology have significantly advanced artificial intelligence from theoretical to practical applications. These models have facilitated the feasibility of computer-aided diagnosis for widespread use. Medical contrastive vision-language pre-training, which does not require human annotations, is an effective approach for guiding representation learning using description information in diagnostic reports. However, the effectiveness of pre-training is limited by the large-scale semantic overlap and shifting problems in medical field. To address these issues, we propose the Knowledge-Boosting Contrastive Vision-Language Pre-training framework (KoBo), which integrates clinical knowledge into the learning of vision-language semantic consistency. The framework uses an unbiased, open-set sample-wise knowledge representation to measure negative sample noise and supplement the correspondence between vision-language mutual information and clinical knowledge. Extensive experiments validate the effect of our framework on eight tasks including classification, segmentation, retrieval, and semantic relatedness, achieving comparable or better performance with the zero-shot or few-shot settings. Our code is open on https://github.com/ChenXiaoFei-CS/KoBo.
• Abstract（参考訳）: 事前学習技術に基づく基礎モデルは、理論的から実用的な応用へと大幅に進歩した。 これらのモデルにより、コンピュータ支援診断が普及しやすくなっている。 人間のアノテーションを必要としない医用コントラスト言語事前学習は、診断報告における記述情報を用いた表現学習の指導に有効な手法である。 しかし,前訓練の有効性は,医療分野における意味の重なりや問題の変化によって制限される。 そこで本研究では, 臨床知識と視覚言語意味的一貫性の学習を融合した知識ブースティング・コントラスト・ビジョン言語事前学習フレームワーク(kobo)を提案する。 このフレームワークは、負のサンプルノイズを測定し、視覚言語間の相互情報と臨床知識の対応を補うために、バイアスのないオープンセットのサンプル知識表現を使用する。 広範な実験により,分類,セグメンテーション,検索,意味的関連性を含む8つのタスクに対するフレームワークの効果を検証し,ゼロショットあるいは少数ショット設定で同等あるいは優れたパフォーマンスを実現する。 私たちのコードはhttps://github.com/ChenXiaoFei-CS/KoBo.comで公開されています。

関連論文リスト

• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• XCoOp: Explainable Prompt Learning for Computer-Aided Diagnosis via Concept-guided Context Optimization [4.634780391920529]
  本稿では,画像,学習可能なプロンプト,臨床概念に基づくプロンプトのセマンティクスを整合させることにより,医療知識を活用する新しい説明可能なプロンプト学習フレームワークを提案する。 我々のフレームワークは、大きな言語モデルから知識を引き出すことによって、価値ある概念アノテーションの欠如に対処する。 提案手法は,XAIにおける基礎モデルの有効性に光を当て,優れた診断性能,柔軟性,解釈可能性を実現する。
  論文  参考訳（メタデータ） (2024-03-14T14:02:01Z)
• MLIP: Enhancing Medical Visual Representation with Divergence Encoder and Knowledge-guided Contrastive Learning [48.97640824497327]
  本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。 我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。 特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
  論文  参考訳（メタデータ） (2024-02-03T05:48:50Z)
• Enhancing the vision-language foundation model with key semantic knowledge-emphasized report refinement [9.347971487478038]
  本稿では,キーセマンティックな知識強調レポート改善手法を提案することで,新しい視覚言語表現学習フレームワークを開発する。 我々のフレームワークは、微調整とゼロショットの両方において、最先端の7つの手法を超越している。
  論文  参考訳（メタデータ） (2024-01-21T07:57:04Z)
• Representing visual classification as a linear combination of words [0.0]
  視覚分類タスクの言語ベースの記述子を識別するために,視覚言語モデルを用いた説明可能性戦略を提案する。 画像とテキストの間に予め訓練された結合埋め込み空間を利用することで,新しい分類課題を単語の線形結合として推定する。 その結果,ドメイン特化言語訓練の欠如にもかかわらず,結果として得られた記述子は臨床知識とほぼ一致していることが判明した。
  論文  参考訳（メタデータ） (2023-11-18T02:00:20Z)
• Align, Reason and Learn: Enhancing Medical Vision-and-Language Pre-training with Knowledge [68.90835997085557]
  本稿では,3つの視点から構造化された医療知識を高めるための体系的かつ効果的なアプローチを提案する。 まず、視覚エンコーダと言語エンコーダの表現を知識を通して整列する。 次に,多モード融合モデルに知識を注入し,入力画像とテキストの補足として知識を用いた推論を可能にする。 第3に、知識によって引き起こされるプレテキストタスクを設計することで、画像やテキストの最も重要な情報に重点を置くよう、モデルを指導する。
  論文  参考訳（メタデータ） (2022-09-15T08:00:01Z)
• Leveraging Visual Knowledge in Language Tasks: An Empirical Study on Intermediate Pre-training for Cross-modal Knowledge Transfer [61.34424171458634]
  視覚的知識を言語モデルに組み込むことがギャップを埋めるかどうかを検討する。 実験の結果,視覚的知識伝達は低リソース環境と完全教師付き環境の両方で性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2022-03-14T22:02:40Z)
• A Meta-embedding-based Ensemble Approach for ICD Coding Prediction [64.42386426730695]
  国際疾病分類 (icd) は、世界中で臨床コーディングに使われているデファクトコードである。 これらのコードにより、医療提供者は償還を請求し、診断情報の効率的な保管と検索を容易にします。 提案手法は,日常的な医学データと科学論文の外部知識を用いて,効果的に単語ベクトルを訓練することにより,神経モデルの性能を高める。
  論文  参考訳（メタデータ） (2021-02-26T17:49:58Z)
• Reasoning over Vision and Language: Exploring the Benefits of Supplemental Knowledge [59.87823082513752]
  本稿では,汎用知識基盤(KB)から視覚言語変換器への知識の注入について検討する。 我々は複数のタスクやベンチマークに対する様々なkbの関連性を実証的に研究する。 この技術はモデルに依存しず、最小限の計算オーバーヘッドで任意の視覚言語変換器の適用可能性を拡張することができる。
  論文  参考訳（メタデータ） (2021-01-15T08:37:55Z)
• A Practical Approach towards Causality Mining in Clinical Text using Active Transfer Learning [2.6125458645126907]
  因果関係マイニングは、最先端の自然言語処理技術の応用を必要とする活発な研究領域である。 この研究は、臨床テキストを因果知識に変換するフレームワークを作成することを目的としている。
  論文  参考訳（メタデータ） (2020-12-10T06:51:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。