論文の概要: Training LLMs with Reinforcement Learning over Digital Twin Representations for Reasoning-Intensive Surgical VideoQA

• arxiv url: http://arxiv.org/abs/2606.17279v1
• Date: Mon, 15 Jun 2026 20:40:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.138394
• Title: Training LLMs with Reinforcement Learning over Digital Twin Representations for Reasoning-Intensive Surgical VideoQA
• Title（参考訳）: 共振集中型手術ビデオQAのためのデジタル双対表現を用いた強化学習によるLLMの訓練
• Authors: Yiqing Shen, Han Zhang, Mathias Unberath,
• Abstract要約: 外科的ビデオ質問応答には、意味論、空間論、時間論の多段階的推論が必要である。 本稿では,大規模言語モデルを学習し,認識と推論を分離する強化学習フレームワークを提案する。 そこで本研究では,臨床的妥当性評価と不確実性を考慮したキャリブレーションにより,フォーマット検証と精度評価を併用した新たな報酬を提案する。
• 参考スコア（独自算出の注目度）: 10.902367405916742
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Surgical video question answering requires multi-step reasoning across semantic, spatial, and temporal dimensions. Existing methods architecturally compress videos into discrete token representations and couple visual perception with reasoning. This approach fragments continuous spatial-temporal relationships and has been shown to restrict multi-step reasoning capabilities. We introduce a reinforcement learning (RL) framework that trains large language models (LLMs) to decouple perception from reasoning by operating over digital twin representations constructed from surgical foundation models. Additionally, we introduce hierarchical representations across frame, temporal window, and procedure levels with probabilistic uncertainty estimates. Finally, we propose a novel reward that combines format validation with accuracy assessment through clinical plausibility evaluation and uncertainty-aware calibration for training. To demonstrate the capabilities of this approach, we introduce REAL-Colon-Reason, a colonoscopic benchmark with 2000 question-answer pairs across three complexity levels. We achieve state-of-the-art performance on REAL-Colon-Reason and two existing surgical VideoQA benchmarks REAL-Colon-VQA and EndoVis18-VQA.
• Abstract（参考訳）: 外科的ビデオ質問応答には、意味論、空間論、時間論の多段階的推論が必要である。 既存の方法では、動画を個別のトークン表現にアーキテクチャ的に圧縮し、推論と視覚的認識を結合する。 このアプローチは、連続した時空間関係を断片化し、多段階推論能力を制限することが示されている。 本稿では,大言語モデル(LLM)を学習し,手術基盤モデルから構築したデジタル双対表現を操作することによって,認識と推論を分離する強化学習(RL)フレームワークを提案する。 さらに,確率的不確実性推定を伴うフレーム,時間的ウィンドウ,プロシージャレベルの階層的表現を導入する。 最後に,臨床的妥当性評価と不確実性を考慮したトレーニングの校正により,書式検証と精度評価を併用した新たな報奨を提案する。 このアプローチの能力を実証するために,3つの複雑性レベルにわたる2000の問合せ対を持つ大腸内視鏡的ベンチマークであるREAL-Colon-Reasonを紹介した。 我々は,REAL-Colon-VQAとREAL-Colon-VQAとEndoVis18-VQAの2つの既存の手術用ビデオQAベンチマークの最先端性能を達成した。

関連論文リスト

• SurgLQA: Scalable Long-Horizon Surgical Video Question Answering [44.46045775428032]
  外科的ビデオ質問回答 (VideoQA) は動的術中解釈に有望なパラダイムを提供する。 既存のアプローチは主に画像やショートクリップに制限されている。 そこで我々は,スケーラブルな手術推論のためのビデオQAフレームワークであるSurgLQAを提案する。
  論文  参考訳（メタデータ） (2026-05-18T06:24:07Z)
• Scaling Video Pretraining for Surgical Foundation Models [51.92777479821822]
  SurgRecは、スケーラブルで再現可能な、外科的ビデオ理解のための事前学習のレシピだ。 内視鏡,腹腔鏡,白内障,ロボット手術を対象とする10,535ビデオと214.5Mフレームの大規模なコーパスをキュレートした。
  論文  参考訳（メタデータ） (2026-03-31T16:31:25Z)
• SurgTEMP: Temporal-Aware Surgical Video Question Answering with Text-guided Visual Memory for Laparoscopic Cholecystectomy [12.553409376394162]
  SurgTEMPは、外科的ビデオ質問応答のための多モード視覚記憶フレームワークである。 我々は,32KのオープンエンドQAペアと3,855の動画セグメントからなる外科的ビデオ質問応答データセットであるCholeVidQA-32Kを紹介する。 SurgTEMPは、最先端のオープンソースマルチモーダルおよびビデオLLM(ファインチューニングとゼロショット)に対する包括的な評価において、大幅な性能改善を実現している。
  論文  参考訳（メタデータ） (2026-03-31T16:27:46Z)
• Video-R2: Reinforcing Consistent and Grounded Reasoning in Multimodal Language Models [56.851611990473174]
  動的ビジュアルコンテンツに対する推論は、大きな言語モデルにとって依然として中心的な課題である。 本稿では,時間的精度と推論一貫性を両立させる強化学習手法を提案する。 結果のモデルであるVideo R2は、複数のベンチマークでTAC、VAS、精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2025-11-28T18:59:58Z)
• Embodied-R: Collaborative Framework for Activating Embodied Spatial Reasoning in Foundation Models via Reinforcement Learning [58.86928947970342]
  Embodied-Rは、知覚のための大規模視覚言語モデルと推論のための小規模言語モデルを組み合わせたフレームワークである。 わずか5kのエボダイドビデオサンプルのトレーニングの後、Embodied-Rと3B LMは最先端のマルチモーダル推論モデルと一致した。 Embodied-Rは、体系的分析や文脈統合のような創発的な思考パターンも示している。
  論文  参考訳（メタデータ） (2025-04-17T06:16:11Z)
• STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training [87.58996020705258]
  Video Large Language Models (Video-LLMs) は近年,ビデオ理解タスクに強い派生性を示している。 ビデオLLMは、多段階の明示的時間的推論を必要とする構成的推論と、オブジェクトの関係、相互作用、イベントに苦労する。 本稿では,ビデオLLMが生ビデオから推論に富んだ微調整データを生成し,自己改善を実現するための,グラフ誘導型自己学習手法STEPを提案する。
  論文  参考訳（メタデータ） (2024-11-29T11:54:55Z)
• UnICLAM:Contrastive Representation Learning with Adversarial Masking for Unified and Interpretable Medical Vision Question Answering [7.2486693553383805]
  現在のメディカルVQAモデルは、視覚とテクスチャエンコーダを2つの別々の空間に配置することで、クロスモーダル表現を学習する。 本稿では,Unified and Interpretable Medical-VQAモデルであるUnICLAMを提案する。 VQA-RADとSLAKEの公開ベンチマークの実験結果は、UnICLAMが既存の11の最先端の医療VQAモデルより優れていることを示している。
  論文  参考訳（メタデータ） (2022-12-21T02:48:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。