論文の概要: STSG-VQA: Evidence-Grounded Temporal Question Answering from Surgical Spatio-Temporal Scene Graphs
- arxiv url: http://arxiv.org/abs/2609.08543v1
- Date: Tue, 08 Sep 2026 10:27:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 16:19:53.150992
- Title: STSG-VQA: Evidence-Grounded Temporal Question Answering from Surgical Spatio-Temporal Scene Graphs
- Title（参考訳）: STSG-VQA : 手術時空間図からの時間的回答
- Abstract要約: 我々は,多段階の時間的監視手法を導入し,オブジェクトレベルの連続性,イベントレベルの相互作用継続性,プロシージャレベルの接続性により,フレームレベルの外科的SGを増強する。
次に、得られた時間的シーングラフ上で時間的クエリを実行し、エビデンスに基づく質問応答ペアを生成する。
このベンチマークには、7つの時間カテゴリーにわたる18,458の質問応答ペアが含まれている。
- 参考スコア（独自算出の注目度）: 3.30246284845239
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite recent advances in surgical vision-language models (VLMs), temporal reasoning remains limited because existing supervision is largely frame-centric. Frame-level scene graphs (SGs) have proven effective in providing structured representations of surgical environments but do not explicitly model the dynamics of surgical workflows. To explicitly model how surgical states evolve across time, we introduce a multi-level structured temporal supervision methodology that augments frame-level surgical SGs with object-level continuity, event-level interaction continuity, and procedure-level connectivity. We then execute temporal queries over the resulting spatio-temporal scene graphs (STSGs) to generate evidence-grounded question-answer pairs, which together form the STSG-VQA benchmark. Each question is linked to the temporal interval and STSG evidence used to derive its reference answer, enabling traceable verification. The benchmark contains 18,458 question-answer pairs across seven temporal categories. Fine-tuning Qwen3-VL-4B and Hulu-Med-4B with STSG-derived supervision improves question-level micro accuracy by 24.39 and 19.56 percentage points over their zero-shot baselines and by 16.50 and 14.25 points over static scene-graph supervision, respectively. These gains span all temporal categories, indicating that STSG-derived supervision helps surgical VLMs reason over temporally grounded interactions rather than isolated frames. The code and dataset will be made publicly available upon acceptance.
- Abstract（参考訳）: 近年の外科的視覚言語モデル(VLM)の進歩にもかかわらず、既存の監督はフレーム中心であるため、時間的推論は限られている。
フレームレベルのシーングラフ(SG)は外科的環境の構造的表現を提供するのに有効であるが、外科的ワークフローのダイナミクスを明示的にモデル化するものではない。
手術状態の時間的変化を明示的にモデル化するために,多段階構造型時間的監視手法を導入し,対象レベルの連続性,事象レベルの相互作用継続性,手順レベルの接続性を備えたフレームレベルの外科的SGを増強する。
次に、結果の時空間グラフ(STSG)上で時間的クエリを実行し、エビデンスに基づく質問応答ペアを生成し、STSG-VQAベンチマークを作成する。
各質問は、時間間隔とSTSGエビデンスに関連付けられ、その基準回答を導出し、トレース可能な検証を可能にする。
このベンチマークには、7つの時間カテゴリーにわたる18,458の質問応答ペアが含まれている。
Qwen3-VL-4B と Hulu-Med-4B は、STSG による監督により、ゼロショットベースラインで24.39 と 19.56 の精度を、静止画監督で16.50 と 14.25 の精度で改善している。
これらの利得は、STSG由来の監督が、孤立したフレームではなく、時間的に接地された相互作用に対する外科的VLMの推論に役立つことを示唆している。
コードとデータセットは受理時に公開される。
関連論文リスト
- What's the Catch? Evaluating Temporal Consistency in Vision-Language Models [0.11121828451787184]
視覚言語モデル (VLM) はビデオや画像系列のベンチマークで高い性能を発揮するが、時間構造を捉えているかどうかは不明だ。
連続するフレームとフレームレベルの異常をガウス雑音に置き換えることで、時間的異常を発生させるTimeCatchを導入する。
評価の結果,フレームレベルと時間的異常検出との間にはかなりのギャップがあることが判明した。
論文 参考訳（メタデータ） (2026-08-24T16:40:49Z) - How Good are Foundation Models in Longitudinal MRI Disease Progression Reasoning? [49.14050864978079]
我々は,マルチビュー解剖学的入力を統一する評価フレームワークであるTime-Aware Multi-View MRI Benchmarkを紹介した。
このベンチマークは、3200の縦断MRIのタイムポイントにまたがる890人の患者から得られた、専門家が検証した質問応答ペア3,920名からなる。
論文 参考訳（メタデータ） (2026-08-13T14:35:20Z) - DoTime: A Synthetic Benchmark Generator for Interventional and Counterfactual Time Series [3.2517081185249075]
介入を伴う時間構造因果モデルのオープンでスケーラブルで理論的に基礎付けられた生成器である textbfDoTime を紹介した。
従来のジェネレータにはない機能が追加されている: 連続時間介入アンファンドウ、実証ガード付き対実サンプリングモード、レギュラースイッチングSCM。
因果的基礎モデル参照実装の先行としてジェネレータの適合性を示す。
論文 参考訳（メタデータ） (2026-07-29T07:46:44Z) - ChronoQG: Towards a Temporally Expressive and Hop-Bounded Benchmark for Temporal Knowledge Graph Question Generation [9.596365499364323]
知識グラフ質問生成(KGQG)は、構造化グラフ証拠から自然言語質問を生成することを目的としている。
既存のKGQGベンチマークは主に静的知識グラフ上に構築されており、グラフ事実の時間的スコープを符号化していない。
提案するChronoQGは,TKGQGのための時間表現型およびホップバウンド型ベンチマーク構築フレームワークである。
論文 参考訳（メタデータ） (2026-07-16T09:53:26Z) - SurgTEMP: Temporal-Aware Surgical Video Question Answering with Text-guided Visual Memory for Laparoscopic Cholecystectomy [12.553409376394162]
SurgTEMPは、外科的ビデオ質問応答のための多モード視覚記憶フレームワークである。
我々は,32KのオープンエンドQAペアと3,855の動画セグメントからなる外科的ビデオ質問応答データセットであるCholeVidQA-32Kを紹介する。
SurgTEMPは、最先端のオープンソースマルチモーダルおよびビデオLLM(ファインチューニングとゼロショット)に対する包括的な評価において、大幅な性能改善を実現している。
論文 参考訳（メタデータ） (2026-03-31T16:27:46Z) - STVG-R1: Incentivizing Instance-Level Reasoning and Grounding in Videos via Reinforcement Learning [65.36458157092207]
視覚言語モデル(VLM)では、テキスト記述と視覚座標のミスアライメントはしばしば幻覚を引き起こす。
本稿では,座標の調整が難しい問題を回避するために,新しい視覚的プロンプトパラダイムを提案する。
本稿では,STVGの最初の強化学習フレームワークであるSTVG-R1を紹介する。
論文 参考訳（メタデータ） (2026-02-12T08:53:32Z) - Agentic Spatio-Temporal Grounding via Collaborative Reasoning [80.83158605034465]
時間的ビデオグラウンド(Temporal Video Grounding)は、テキストクエリが与えられたビデオ内の対象物または人の時間的チューブを検索することを目的としている。
本稿では,STVGの課題に対して,オープンワールドおよびトレーニングフリーシナリオに向けたエージェント時空間グラウンド(ASTG)フレームワークを提案する。
具体的には、現代多言語モデル(MLLM)を活用した2つの特殊エージェントSRA(Spatial Reasoning Agent)とTRA(Temporal Reasoning Agent)である。
人気のあるベンチマークの実験は、既存の弱教師付きおよびゼロショットアプローチをマージンで上回る提案手法の優位性を実証している。
論文 参考訳（メタデータ） (2026-02-10T10:16:27Z) - SurgAnt-ViVQA: Learning to Anticipate Surgical Events through GRU-Driven Temporal Cross-Attention [10.149538951173598]
鼻腔鏡下下下垂体手術のリアルタイム支援には,今後の外科的事象の予測が不可欠である。
ほとんどの視覚的質問応答(VQA)システムは、静的視覚言語アライメントを持つ独立したフレームを推論する。
先見的外科的推論のために設計された最初のVQAデータセットであるPitVQA-Anticipationを紹介する。
論文 参考訳（メタデータ） (2025-11-05T04:55:11Z) - Causal Time Series Generation via Diffusion Models [96.95879410279089]
新しいTSGタスクファミリーとして因果時系列生成を導入し,Pearlの因果はしご内で定式化した。
これらのタスクをインスタンス化するために、統合拡散ベースのフレームワークであるCaTSGを開発した。
合成データセットと実世界のデータセットの両方の実験は、CaTSGが優れた忠実性を達成することを示している。
論文 参考訳（メタデータ） (2025-09-25T07:34:46Z) - Respecting Temporal-Causal Consistency: Entity-Event Knowledge Graphs for Retrieval-Augmented Generation [69.45495166424642]
我々は,物語文書における時間的,因果的,文字的整合性を理解するために,頑健で差別的なQAベンチマークを開発する。
次に、バイナリマッピングでリンクされたエンティティとイベントのサブグラフを分離したまま保持するデュアルグラフフレームワークであるEntity-Event RAG(E2RAG)を紹介します。
ChronoQA全体で、我々のアプローチは最先端の非構造化およびKGベースのRAGベースラインよりも優れており、因果一貫性クエリや文字整合性クエリが顕著である。
論文 参考訳（メタデータ） (2025-06-06T10:07:21Z) - Temporal Inconsistency Guidance for Super-resolution Video Quality Assessment [63.811519474030234]
本稿では,フレームの時間的矛盾を定量化するための知覚指向アプローチを提案する。
人間の視覚システムに触発され,不整合誘導時間モジュールを開発した。
我々の手法は最先端のVQA手法よりも優れています。
論文 参考訳（メタデータ） (2024-12-25T15:43:41Z) - LoViT: Long Video Transformer for Surgical Phase Recognition [59.06812739441785]
短時間・長期の時間情報を融合する2段階のLong Video Transformer(LoViT)を提案する。
このアプローチは、Colec80とAutoLaparoデータセットの最先端メソッドを一貫して上回る。
論文 参考訳（メタデータ） (2023-05-15T20:06:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。