論文の概要: The Role of Natural Language Understanding in Multimodal Video-Based Dengue Diagnosis

• arxiv url: http://arxiv.org/abs/2608.12677v1
• Date: Thu, 13 Aug 2026 00:27:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.353337
• Title: The Role of Natural Language Understanding in Multimodal Video-Based Dengue Diagnosis
• Title（参考訳）: マルチモーダルビデオベースデング診断における自然言語理解の役割
• Abstract要約: 未感染およびデングウイルス血清型2(DENV2)感染蚊の蚊飛行フレームを分類するための視覚言語フレームワークが提案されている。 提案手法は98.54%の精度と99.91%の感度をフレームレベルで達成した。 これらの結果から,映像データから感染関連生物学的挙動を解析するための視覚言語モデルの有用性が示唆された。
• 参考スコア（独自算出の注目度）: 1.5560241758540234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting infection-related behavioral changes in mosquitoes from video data is challenging because mosquitoes are small, move rapidly and irregularly, and are affected by environmental factors such as background, lighting, and shadows, which can make reliable feature extraction difficult. In this study, a YOLO- and Contrastive Language-Image Pre-training (CLIP)-based vision-language framework is proposed to classify mosquito flight frames of uninfected and Dengue virus serotype 2 (DENV2)-infected mosquitoes. First, YOLO is used to isolate mosquito regions from the background. Then, visual features extracted from video frames are aligned with biologically meaningful textual prompts in a shared embedding space. The multimodal model was fine-tuned using supervised bidirectional contrastive learning and evaluated through frame-level image-text similarity-based classification. The results show that the proposed method achieved 98.54% accuracy and 99.91% sensitivity at the frame level. After temporal aggregation of frame-level information, the model achieved complete video-level performance. The ablation results showed that fine-tuning and CLIP-based representations were essential for this domain, while the textual branch provided semantic image-text alignment rather than an accuracy advantage over the vision-only model. These findings suggest that vision-language models can provide a useful framework for analyzing infection-related biological behaviors from video data.
• Abstract（参考訳）: ビデオデータから蚊の感染関連行動変化を検出することは、蚊が小さく、素早く不規則に動き、背景、照明、影などの環境要因に影響され、信頼性の高い特徴抽出が困難になるため困難である。 本研究では、未感染およびデングウイルス血清型2(DENV2)感染蚊の蚊飛行フレームを分類するために、CLIP(YOLO- and Contrastive Language- Image Pre-training)ベースの視覚言語フレームワークを提案する。 まず、YYOLOは背景から蚊の領域を分離するために用いられる。 そして、ビデオフレームから抽出された視覚的特徴を、共有埋め込み空間において生物学的に意味のあるテキストプロンプトと整列する。 マルチモーダルモデルは、教師付き双方向コントラスト学習を用いて微調整され、フレームレベルの画像-テキスト類似性に基づく分類により評価された。 その結果,提案手法の精度は98.54%,感度は99.91%であった。 フレームレベルの情報の時間的集約の後、このモデルは完全なビデオレベルのパフォーマンスを達成した。 アブレーションの結果,この領域では微調整とCLIPに基づく表現が不可欠であることが示唆された。 これらの結果から,映像データから感染関連生物学的挙動を解析するための視覚言語モデルの有用性が示唆された。

関連論文リスト

• A Hybrid Framework of Vision Transformer and Gated Recurrent Unit for Detection of Mosquito Diseases [1.704431091578284]
  デングウイルスに感染した蚊を制御蚊から同定することは、ビデオの背景の小さいサイズと複雑さのために大きな課題である。 本研究では、まず、蚊を識別し、背景をYOLO 11Mモデルで除去し、視覚特徴をViT(Vision Transformer)を用いて抽出し、最後に、映像を畳み込みGRU(ConvGRU)に分類する。 ConvGRUモデルは88.88%の精度、84.45%の精度、82.82%のリコール、82.81%のF1スコアを達成した。
  論文  参考訳（メタデータ） (2026-08-12T02:43:47Z)
• Multi-View Synergistic Learning with Vision-Language Adaption for Low-Resource Biomedical Image Classification [59.24009931000134]
  MVSL(Multi-View Synergistic Learning)は、適応パラダイム、表現の粒度、疾患の意味的関係に対処する統合フレームワークである。 MVSLは、視覚的およびテキスト的エンコーダの適応を分離し、それぞれの表現特性を尊重する。 さらに、グローバルなイメージセマンティクスと局所的な病変レベルの証拠の両方を明示的にモデル化するために、多粒性コントラスト学習を導入する。 MVSLは、いくつかのショットとゼロショットの分類設定において、最先端のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2026-04-27T02:41:27Z)
• A Lightweight and Explainable Vision-Language Framework for Crop Disease Visual Question Answering [0.2624902795082451]
  本研究は,葉のイメージから作物や病気を識別する軽量な視覚言語フレームワークを提案する。 視覚表現学習とクロスモーダルアライメントを改善するために、2段階のトレーニング戦略が採用されている。 実験の結果,作物の同定と病原体同定の精度が高かった。
  論文  参考訳（メタデータ） (2026-01-08T17:31:09Z)
• HiLa: Hierarchical Vision-Language Collaboration for Cancer Survival Prediction [55.00788339683146]
  生存予測を改善するための新しい階層型視覚・言語協調フレームワークを提案する。 具体的には、HiLaは事前訓練された特徴抽出器を使用して、パッチレベルとリージョンレベルの両方でWSIから階層的な視覚的特徴を生成する。 このap-proachは、プロンプトから異なる生存関連属性に対応する識別的視覚特徴の包括的学習を可能にする。
  論文  参考訳（メタデータ） (2025-07-07T02:06:25Z)
• VisText-Mosquito: A Unified Multimodal Benchmark Dataset for Visual Detection, Segmentation, and Textual Reasoning on Mosquito Breeding Sites [3.181314457277822]
  VisText-Mosquitoは、蚊繁殖サイト分析の自動検出、セグメンテーション、推論をサポートするマルチモーダルデータセットである。 データセットは、オブジェクト検出用1,828の注釈付き画像、水面セグメンテーション用142の画像、および各画像にリンクされた自然言語推論テキストを含む。 推論生成のために、ゼロショットと少数ショットの両方の設定で様々な大きな視覚言語モデル(LVLM)をテストした。
  論文  参考訳（メタデータ） (2025-06-17T15:24:30Z)
• Seeing the Trees for the Forest: Rethinking Weakly-Supervised Medical Visual Grounding [45.248265283405004]
  現在のモデルは、非効率な注意機構ときめ細かいトークン表現の欠如により、テキスト記述と病気領域を関連付けるのに苦労している。 本稿では、VLMの説明可能性マップを用いて、適切な画像特徴を識別する病原体認識プロンプト(DAP)を提案する。 DAPは3つの主要な胸部X線データセットの最先端手法と比較して、視覚的接地精度を20.74%向上させる。
  論文  参考訳（メタデータ） (2025-05-21T05:16:45Z)
• ViKL: A Mammography Interpretation Framework via Multimodal Aggregation of Visual-knowledge-linguistic Features [54.37042005469384]
  MVKLは,マルチビュー画像,詳細な表示,報告を含む最初のマルチモーダルマンモグラフィーデータセットである。 このデータセットに基づいて、教師なし事前学習のチャラリングタスクに焦点を当てる。 視覚,知識,言語機能を相乗化するフレームワークであるViKLを提案する。
  論文  参考訳（メタデータ） (2024-09-24T05:01:23Z)
• Domain Adaptive Synapse Detection with Weak Point Annotations [63.97144211520869]
  弱点アノテーションを用いたドメイン適応型シナプス検出のためのフレームワークであるAdaSynを提案する。 I SBI 2023のWASPSYNチャレンジでは、我々の手法が第1位にランクインした。
  論文  参考訳（メタデータ） (2023-08-31T05:05:53Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。