論文の概要: Tokensome: Towards a Genetic Vision-Language GPT for Explainable and Cognitive Karyotyping
- arxiv url: http://arxiv.org/abs/2403.11073v1
- Date: Sun, 17 Mar 2024 03:38:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 20:17:05.962358
- Title: Tokensome: Towards a Genetic Vision-Language GPT for Explainable and Cognitive Karyotyping
- Title(参考訳): トケノーム : 説明可能な認知的カリオタイピングのための遺伝的ビジョンランゲージGPTを目指して
- Authors: Haoxi Zhang, Xinxu Zhang, Yuanxin Lin, Maiqi Wang, Yi Lai, Yu Wang, Linfeng Yu, Yufeng Xu, Ran Cheng, Edward Szczerbicki,
- Abstract要約: Tokensomeは、染色体トークン化に基づく新しい視覚言語モデルである。
トケソームは、従来の視覚知覚層から認知的意思決定層へとメソッドを上昇させる。
- 参考スコア(独自算出の注目度): 7.101960527853822
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic karyotype analysis is often defined as a visual perception task focused solely on chromosomal object-level modeling. This definition has led most existing methods to overlook componential and holistic information, significantly constraining model performance. Moreover, the lack of interpretability in current technologies hinders clinical adoption. In this paper, we introduce Tokensome, a novel vision-language model based on chromosome tokenization for explainable and cognitive karyotyping. Tokensome elevates the method from the conventional visual perception layer to the cognitive decision-making layer. This elevation enables the integration of domain knowledge and cognitive reasoning via knowledge graphs and LLMs, markedly enhancing model's explainability and facilitating abnormality detection.
- Abstract(参考訳): 自動核型解析は、しばしば、染色体オブジェクトレベルのモデリングにのみ焦点をあてた視覚的知覚タスクとして定義される。
この定義は、既存のほとんどのメソッドがコンポーネント的および全体論的情報を見落とし、モデルの性能を著しく制限している。
さらに、現在の技術における解釈可能性の欠如は、臨床応用を妨げる。
本稿では,染色体トークン化に基づく新しい視覚言語モデルであるTokensomeについて紹介する。
トケソームは、従来の視覚知覚層から認知的意思決定層へとメソッドを上昇させる。
この高揚は、知識グラフとLLMを通してドメイン知識と認知推論の統合を可能にし、モデルの説明可能性を大幅に向上させ、異常検出を容易にする。
関連論文リスト
- Aligning Human Knowledge with Visual Concepts Towards Explainable Medical Image Classification [8.382606243533942]
本稿では,説明可能な言語インフォームド基準に基づく診断に向けて,シンプルで効果的なフレームワークであるExplicdを紹介した。
事前訓練された視覚言語モデルを活用することで、Explicdはこれらの基準を知識アンカーとして埋め込み空間に注入する。
最終的な診断結果は、符号化された視覚概念とテキストの基準埋め込みとの類似度スコアに基づいて決定される。
論文 参考訳(メタデータ) (2024-06-08T23:23:28Z) - Decoding Decision Reasoning: A Counterfactual-Powered Model for Knowledge Discovery [6.1521675665532545]
医用画像では、AIモデルの予測の背後にある根拠を明らかにすることが、信頼性を評価する上で重要である。
本稿では,意思決定推論と特徴識別機能を備えた説明可能なモデルを提案する。
提案手法を実装することにより,データ駆動モデルにより活用されるクラス固有の特徴を効果的に識別および可視化することができる。
論文 参考訳(メタデータ) (2024-05-23T19:00:38Z) - MLIP: Enhancing Medical Visual Representation with Divergence Encoder
and Knowledge-guided Contrastive Learning [48.97640824497327]
本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。
我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。
特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
論文 参考訳(メタデータ) (2024-02-03T05:48:50Z) - Multi-modal vision-language model for generalizable annotation-free pathology localization and clinical diagnosis [18.958171123895866]
医療画像から病理を自動的に定義することは、疾患の出現と進展を理解するのに役立つ。
既存のディープラーニングモデルは専門家のアノテーションに大きく依存しており、オープンな臨床環境での一般化機能が欠如している。
視覚言語モデルを提案する。
lingering-free pathology (AFLOC)
AFLocは病理学や分類学における最先端の手法を超越し、また5つの異なる病理の特定においてヒトのベンチマークよりも優れていることを示す。
論文 参考訳(メタデータ) (2024-01-04T03:09:39Z) - Robust and Interpretable Medical Image Classifiers via Concept
Bottleneck Models [49.95603725998561]
本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。
具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
論文 参考訳(メタデータ) (2023-10-04T21:57:09Z) - A Novel Neural-symbolic System under Statistical Relational Learning [50.747658038910565]
本稿では,GBPGRと呼ばれる2段階の確率的グラフィカル推論フレームワークを提案する。
GBPGRでは、シンボル推論の結果を用いて、ディープラーニングモデルによる予測を洗練し、修正する。
提案手法は高い性能を示し, 帰納的タスクと帰納的タスクの両方において効果的な一般化を示す。
論文 参考訳(メタデータ) (2023-09-16T09:15:37Z) - NeuroExplainer: Fine-Grained Attention Decoding to Uncover Cortical
Development Patterns of Preterm Infants [73.85768093666582]
我々はNeuroExplainerと呼ばれる説明可能な幾何学的深層ネットワークを提案する。
NeuroExplainerは、早産に伴う幼児の皮質発達パターンの解明に使用される。
論文 参考訳(メタデータ) (2023-01-01T12:48:12Z) - Deep Learning Generates Synthetic Cancer Histology for Explainability
and Education [37.13457398561086]
条件付き生成逆数ネットワーク(英: Conditional Generative Adversarial Network、cGAN)は、合成画像を生成するAIモデルである。
本稿では,cGANを用いた分子サブタイプ腫瘍の分類訓練モデルについて述べる。
腫瘍の病理組織学的所見に対するヒトの理解を増強し, 向上させることが, 明確で直感的なcGANの可視化に有効であることを示す。
論文 参考訳(メタデータ) (2022-11-12T00:14:57Z) - Biologically-informed deep learning models for cancer: fundamental
trends for encoding and interpreting oncology data [0.0]
本稿では,癌生物学における推論を支援するために用いられる深層学習(DL)モデルに着目した構造化文献解析を行う。
この研究は、既存のモデルが、先行知識、生物学的妥当性、解釈可能性とのより良い対話の必要性にどのように対処するかに焦点を当てている。
論文 参考訳(メタデータ) (2022-07-02T12:11:35Z) - An explainability framework for cortical surface-based deep learning [110.83289076967895]
我々は,皮質表面の深層学習のためのフレームワークを開発した。
まず,表面データに摂動に基づくアプローチを適用した。
我々の説明可能性フレームワークは,重要な特徴とその空間的位置を識別できるだけでなく,信頼性と有効性も示している。
論文 参考訳(メタデータ) (2022-03-15T23:16:49Z) - Deep Collaborative Multi-Modal Learning for Unsupervised Kinship
Estimation [53.62256887837659]
キンシップ検証は、コンピュータビジョンにおける長年の研究課題である。
本稿では,顔特性に表される基礎情報を統合するために,新しい協調型多モーダル学習(DCML)を提案する。
我々のDCML法は、常に最先端のキンシップ検証法よりも優れている。
論文 参考訳(メタデータ) (2021-09-07T01:34:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。