論文の概要: Colon-Bench: An Agentic Workflow for Scalable Dense Lesion Annotation in Full-Procedure Colonoscopy Videos

• arxiv url: http://arxiv.org/abs/2603.25645v1
• Date: Thu, 26 Mar 2026 16:58:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:48.390827
• Title: Colon-Bench: An Agentic Workflow for Scalable Dense Lesion Annotation in Full-Procedure Colonoscopy Videos
• Title（参考訳）: Colon-Bench: フルプロジェクチュア大腸内視鏡ビデオにおけるスケーラブルデンス病変アノテーションのためのエージェントワークフロー
• Abstract要約: Colon-Benchは、時間的提案、バウンディングボックス追跡、AI駆動の視覚的確認、ヒューマン・イン・ザ・ループ・レビューをシームレスに統合する、新しいAIパイプラインである。 対象範囲はビデオ528本, 病変14種類(ポリープ, 潰瘍, 出血を含む), 境界ボックス300, セグメンテーションマスク213,000本, 臨床記述133,000語であった。
• 参考スコア（独自算出の注目度）: 16.49364638586462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Early screening via colonoscopy is critical for colon cancer prevention, yet developing robust AI systems for this domain is hindered by the lack of densely annotated, long-sequence video datasets. Existing datasets predominantly focus on single-class polyp detection and lack the rich spatial, temporal, and linguistic annotations required to evaluate modern Multimodal Large Language Models (MLLMs). To address this critical gap, we introduce Colon-Bench, generated via a novel multi-stage agentic workflow. Our pipeline seamlessly integrates temporal proposals, bounding-box tracking, AI-driven visual confirmation, and human-in-the-loop review to scalably annotate full-procedure videos. The resulting verified benchmark is unprecedented in scope, encompassing 528 videos, 14 distinct lesion categories (including polyps, ulcers, and bleeding), over 300,000 bounding boxes, 213,000 segmentation masks, and 133,000 words of clinical descriptions. We utilize Colon-Bench to rigorously evaluate state-of-the-art MLLMs across lesion classification, Open-Vocabulary Video Object Segmentation (OV-VOS), and video Visual Question Answering (VQA). The MLLM results demonstrate surprisingly high localization performance in medical domains compared to SAM-3. Finally, we analyze common VQA errors from MLLMs to introduce a novel "colon-skill" prompting strategy, improving zero-shot MLLM performance by up to 9.7% across most MLLMs. The dataset and the code are available at https://abdullahamdi.com/colon-bench .
• Abstract（参考訳）: 大腸内視鏡による早期検診は大腸がん予防に重要であるが、この領域のための堅牢なAIシステムの開発は、濃密に注釈付けされた長いシーケンスのビデオデータセットの欠如によって妨げられている。 既存のデータセットは主に単一クラスポリプの検出に重点を置いており、現代のマルチモーダル大言語モデル(MLLM)を評価するのに必要な、豊富な空間的、時間的、言語的アノテーションが欠如している。 この重要なギャップに対処するために、新しい多段階エージェントワークフローによって生成されるColon-Benchを紹介します。 私たちのパイプラインは、時間的提案、バウンディングボックスのトラッキング、AI駆動による視覚的確認、および人間によるループレビューをシームレスに統合して、フルプロデューサビデオの注釈付けを可能にします。 528の動画、14の病変(ポリープ、潰瘍、出血を含む)、300,000以上の境界箱、213,000のセグメンテーションマスク、133,000の臨床的記述を含む、検証済みのベンチマークは前例がない。 我々はColor-Benchを用いて、病変分類、OV-VOS(Open-Vocabulary Video Object Segmentation)、VQA(Video Visual Question Answering)を厳格に評価する。 MLLMの結果,SAM-3と比較すると,医療領域では驚くほど高い局在性を示した。 最後に、MLLMの一般的なVQAエラーを分析し、新しい「コロンスキル」プロンプト戦略を導入し、ほとんどのMLLMにおいてゼロショットMLLMのパフォーマンスを最大9.7%向上させる。 データセットとコードはhttps://abdullahamdi.com/colon-bench.orgで公開されている。

関連論文リスト

• GuideMe: Multi-Domain Task Guidance and Intervention in Streaming Video [54.048366682378706]
  クローズドループ対話型タスクガイダンスのためのMLLMのトレーニングと評価を支援する,ストリーミングビデオのための最初のマルチドメインベンチマークである GuideMe を構築した。 223.7時間にわたる2,458本のビデオ(料理、オブジェクト操作、日常生活指導、フィットネスなど)と、次のステップの指示、完了フィードバック、エラー検出、修正ガイダンスを含む47,775本の対話サンプルで構成されている。
  論文  参考訳（メタデータ） (2026-07-03T06:00:04Z)
• Benchmarking Visual State Tracking in Multimodal Video Understanding [67.73383974166462]
  マルチモーダル大言語モデル(MLLM)における視覚状態追跡の診断のためのVisual STAte Tracking benchmark (VSTAT)を導入する。 VSTATは、合成ビデオと実世界のビデオの両方から834のクリップで構成され、1500の質問と組み合わせて、1つのフレームまたはショートセグメントから答えられない。 MLLMは理由を見つけ、テキストで正しく追跡するが、追跡するイベントを視覚的に知覚することができない。
  論文  参考訳（メタデータ） (2026-06-02T17:12:05Z)
• Contrastive Learning under Noisy Temporal Self-Supervision for Colonoscopy Videos [8.245519663146586]
  ポリープ・トラックレットの堅牢な表現を学習することは、AIによる大腸内視鏡の応用を可能にする鍵となる。 本研究では,大腸内視鏡手術の逐次的ワークフローを利用して,時間的構造から自己監督的関連を導出する。 本稿では,ポリプ検索と再同定,サイズ推定,組織分類など,複数の下流タスクにおける学習表現の有効性を実証する。
  論文  参考訳（メタデータ） (2026-05-12T16:04:42Z)
• Hi-GaTA: Hierarchical Gated Temporal Aggregation Adapter for Surgical Video Report Generation [7.606404030331724]
  手術報告生成のための知覚推論フレームワークを提案し, 軽量な時間適応型HiGa-TAを特徴とする。 実験により,提案手法は,MLLMベースラインよりも一貫したゲインを達成し,全体的な性能を向上することを示す。
  論文  参考訳（メタデータ） (2026-05-11T20:21:34Z)
• UniSurgSAM: A Unified Promptable Model for Reliable Surgical Video Segmentation [18.74680721916099]
  視覚的,テキスト的,あるいは音声的プロンプトによる信頼性の高い手術ビデオ分割を可能にする統合PVOSモデルUniSurgSAMを提案する。 本稿では,幻覚の抑制を目的とした存在認識復号法,拡張シーケンス上のマスクドリフトを防止する境界認識長期追跡法,障害回復のための段階間のループを閉じる適応状態遷移の3つの重要な設計を提案する。 UniSurgSAMは、あらゆる急進的なモダリティと粒度にわたる最先端のパフォーマンスをリアルタイムで達成し、コンピュータ支援手術の実践的な基盤を提供する。
  論文  参考訳（メタデータ） (2026-04-04T08:44:10Z)
• Scaling Video Pretraining for Surgical Foundation Models [51.92777479821822]
  SurgRecは、スケーラブルで再現可能な、外科的ビデオ理解のための事前学習のレシピだ。 内視鏡,腹腔鏡,白内障,ロボット手術を対象とする10,535ビデオと214.5Mフレームの大規模なコーパスをキュレートした。
  論文  参考訳（メタデータ） (2026-03-31T16:31:25Z)
• Aligning Effective Tokens with Video Anomaly in Large Language Models [42.99603812716817]
  本稿では,様々なビデオにおける異常事象の要約と局所化を目的とした新しいMLLMであるVA-GPTを提案する。 提案手法は,視覚エンコーダとLCM間の有効トークンを2つの重要なモジュールを通して効率的に整列する。 本研究では,ビデオアノマ対応MLLMの微調整のための命令追従データセットを構築した。
  論文  参考訳（メタデータ） (2025-08-08T14:30:05Z)
• A Survey on Video Temporal Grounding with Multimodal Large Language Model [107.24431595873808]
  時間的グラウンドリング(VTG)の最近の進歩は、きめ細かいビデオ理解を著しく向上させた。 より優れたマルチモーダル理解と推論能力により、MLLM(VTG-MLLM)に基づくVTGアプローチは、従来の微調整手法を徐々に超えつつある。 一般的なビデオ言語理解に関する広範な調査にもかかわらず、VTG-MLLMに関する包括的なレビューは乏しいままである。
  論文  参考訳（メタデータ） (2025-08-07T08:52:11Z)
• Unifying Segment Anything in Microscopy with Multimodal Large Language Model [12.40922797263136]
  我々は、顕微鏡クローズドメインデータの学習にMLLMを用いて、uLLSAMと呼ばれる顕微鏡内のセグメンテーションをガイドすることを提案する。 SAMがグローバルなVLKプロンプトを受信すると、その性能は大幅に向上するが、境界輪郭知覚には欠点がある。 本手法は,9つのドメイン内顕微鏡データセットに対して,Diceの7.71%,SAの12.10%の性能向上を実現し,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2025-05-16T00:55:56Z)
• LLaVA-RadZ: Can Multimodal Large Language Models Effectively Tackle Zero-shot Radiology Recognition? [59.81732629438753]
  LLaVA-RadZは、既存のMLLM機能を利用して、ゼロショットの医療疾患認識のための、シンプルで効果的なフレームワークである。 具体的には、MLLMデコーダアーキテクチャの特性を活用するために、DFAT(Decoding-Side Feature Alignment Training)と呼ばれるエンドツーエンドのトレーニング戦略を設計する。 また,大規模モデルの本質的な医学的知識を活用するために,DKAM(Domain Knowledge Anchoring Module)を導入する。
  論文  参考訳（メタデータ） (2025-03-10T16:05:40Z)
• Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage [50.84150600032693]
  MLLM(Multimodal large language model)は、非常に詳細なキャプションを生成するのに優れるが、幻覚を引き起こすことが多い。 我々は,LLM-MLLM協調を利用して与えられたキャプションを補正するマルチエージェント手法を提案する。 提案手法は, キャプションの精度を向上し, GPT-4Vによるキャプションの精度を向上する。
  論文  参考訳（メタデータ） (2024-12-20T01:37:22Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• Semantic Parsing of Colonoscopy Videos with Multi-Label Temporal Networks [2.788533099191487]
  大腸内視鏡画像の自動解析法を提案する。 この手法は、教師なしおよび教師なしのレシエーションで訓練された、新しいDL多ラベル時間分割モデルを使用する。 そこで本研究では,300本以上の注記式大腸内視鏡検査装置を用いて,各部位の相対的重要性について検討した。
  論文  参考訳（メタデータ） (2023-06-12T08:46:02Z)
• Colonoscopy Polyp Detection: Domain Adaptation From Medical Report Images to Real-time Videos [76.37907640271806]
  大腸内視鏡画像と実時間映像の領域間ギャップに対処する画像-ビデオ結合型ポリープ検出ネットワーク(Ivy-Net)を提案する。 収集したデータセットの実験は、Ivy-Netが大腸内視鏡ビデオで最先端の結果を達成することを示した。
  論文  参考訳（メタデータ） (2020-12-31T10:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。