論文の概要: MedClaw: Heuristic Agent Harness for Long-Horizon Surgical Video Reasoning
- arxiv url: http://arxiv.org/abs/2608.14015v1
- Date: Fri, 14 Aug 2026 07:03:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.299422
- Title: MedClaw: Heuristic Agent Harness for Long-Horizon Surgical Video Reasoning
- Title（参考訳）: MedClaw:ロングホライズン手術ビデオ撮影のためのヒューリスティックエージェントHarness
- Abstract要約: 思考から推論を分離し、文脈の進化によって改善するエージェントハーネスを構築します。
テキストのみのオーケストレータは、収集する証拠を計画し、監査可能な一連のツールコールを発行する。
グレードフリーで報酬を付与するヒューリスティックスキル蒸留ループは、エージェント自身の低スコアトレースをマイニングし、バリデーション報酬を上げる場合にのみ候補スキルを保持する。
- 参考スコア（独自算出の注目度）: 22.25478228214449
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding tens-of-minutes surgical videos requires long-horizon temporal reasoning, answering what happens before, after, or across stages of a procedure by grounding the question in visual evidence spread across time. Existing approaches handle this poorly: a one-shot vision-language model (VLM) compresses the whole procedure to fit its context window and loses the detail a "before" or "after" question depends on, while video agents that train the model where to look are data-hungry and transfer poorly to out-of-domain surgery. We build an agent harness that separates reasoning from perception and improves by evolving context rather than optimizing weights. A text-only orchestrator plans which evidence to gather and issues an auditable sequence of tool calls, while frozen vision-language sub-agents execute each call over the pixels, viewing, cropping, inspecting frames, and retrieving external knowledge. We further propose a gradient-free, reward-gated Heuristic Skill Distillation loop that mines the agent's own low-scoring traces and keeps a candidate skill only when it raises a validation reward, yielding reusable retrieval skills, notably directed re-look. Growing an external skill library rather than tuning weights, the loop adapts from only about 100 labeled examples, far fewer than supervised or reinforcement fine-tuning requires. To evaluate this agent, we introduce MedClawBench, a de-leaked, doctor-grounded benchmark of 1,123 questions over self-built long neurosurgery recordings and a held-out public lecture-video test split. Across both datasets and all four evaluation dimensions, our agent consistently outperforms one-shot VLMs and general video-agent frameworks, with the largest gains on the long, out-of-domain neurosurgery videos. Project page: https://fyycs.github.io/medclaw/.
- Abstract（参考訳）: 数分間の手術ビデオを理解するには、長い時間的推論が必要である。
既存のアプローチでは、ワンショットの視覚言語モデル(VLM)が、コンテキストウィンドウに適合するようにプロシージャ全体を圧縮し、"before"や"after"の質問の詳細を失う。
我々は、思考から推論を分離し、重みを最適化するのではなく、文脈を進化させることにより改善するエージェントハーネスを構築している。
テキストのみのオーケストレータは、監査可能なツールコールのシーケンスを収集し発行する証拠を収集し、凍結された視覚言語サブエージェントは、各コールをピクセル上で実行し、閲覧、トリミング、フレームの検査、外部知識の検索を行う。
さらに, エージェント自身の低スコアトレースをマイニングし, バリデーション報酬を引き上げた場合にのみ候補スキルを保ち, 再検討を行うための再利用可能な検索スキル, 特に有向再検討を行うための, 勾配フリーで報酬付きヒューリスティックスキル蒸留ループを提案する。
ウェイトをチューニングするのではなく、外部のスキルライブラリを成長させるため、ループは100ほどのラベル付き例から順応し、教師や強化の微調整よりもはるかに少ない。
このエージェントを評価するために、MedClawBenchは、自作の長期脳神経外科記録と、公開講座とビデオテストの分割に関する1,123の質問を非学習で根拠としたベンチマークである。
両方のデータセットと4つの評価次元で、我々のエージェントはワンショットのVLMと一般的なビデオエージェントフレームワークを一貫して上回ります。
プロジェクトページ: https://fyycs.github.io/medclaw/。
関連論文リスト
- VideoScout: Learning Agentic Active Exploration with Adaptive Reasoning Pacing for Long Video Understanding [61.00809248898572]
ロングビデオ理解(英: Long video understanding)とは、エージェントが時間軸に沿って回転してビデオを読み取る問題である。
適応推論によるSEAパラダイムをインスタンス化するマルチターン推論エージェントである textbfVideoScout を提案する。
長いビデオ理解と推論のベンチマーク実験により、我々の7Bモデルは、既存の訓練された7Bエージェントモデルと比較して、強い性能を発揮することが示された。
論文 参考訳（メタデータ） (2026-09-14T14:04:03Z) - Online Video Agent Harness for Long Video Understanding [35.044765942623876]
長いビデオ理解は、しばしば視覚的な針・ア・ヘイスタック問題のように振る舞う。
既存のビデオエージェントは、クエリに依存しないオフライン前処理やアドホックツールセットに依存することが多い。
我々は、ビデオ理解のための純粋にオンラインビデオエージェントであるVideoXAgentを紹介する。
論文 参考訳（メタデータ） (2026-09-11T13:13:03Z) - InternVideo3: Agentify Foundation Models with Multimodal Contextual Reasoning [61.87294123934038]
ビデオタスクにおけるマルチモーダル理解を強化するフレームワークであるInternVideo3を提案する。
MCRは理解を、共有、進化するコンテキスト上でのクローズドループプロセスとして扱う。
InternVideo3は、Video-MME、MLVU、Egoなどのベンチマークで強力なパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2026-06-10T15:17:08Z) - VideoSEAL: Mitigating Evidence Misalignment in Agentic Long Video Understanding by Decoupling Answer Authority [10.961731621875918]
長いビデオの質問応答には、非常に冗長なコンテンツの中で、スパースでタイムインスペクションされた視覚的証拠を見つける必要がある。
既存のLVUエージェントが「エビデンスミスアライメント」を提示できることを示す。
本稿では,画素レベルの検証において,解答権限とゲートの最終的な解答とを分離した分離型プランナー・フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-12T10:37:49Z) - Bridging Modalities, Spanning Time: Structured Memory for Ultra-Long Agentic Video Reasoning [82.97398529552166]
MAGIC-Videoは、インターリーブされた物語チェーンを備えたマルチモーダルメモリグラフを中心に構築されたフレームワークである。
EgoLifeQA、Ego-R1、MM-Lifelongでは、MAGIC-Videoは一貫して、強力な汎用、長期ビデオ、エージェントベースラインを上回っている。
論文 参考訳（メタデータ） (2026-05-08T03:21:47Z) - SVAgent: Storyline-Guided Long Video Understanding via Cross-Modal Multi-Agent Collaboration [6.451186120567798]
VideoQAは、ビデオシーケンスの複雑なダイナミクスをキャプチャするために、空間的、時間的、意味的な情報を統合する必要がある、困難なタスクである。
本稿では,ビデオQAのためのストーリーライン誘導型クロスモーダルマルチエージェントフレームワークであるSVAgentを提案する。
実験により,SVAgentは映像理解において人間のようなストーリーライン推論をエミュレートすることにより,優れた性能と解釈性を実現することが示された。
論文 参考訳（メタデータ） (2026-04-06T18:30:50Z) - Think, Then Verify: A Hypothesis-Verification Multi-Agent Framework for Long Video Understanding [25.82963105515627]
VideoHV-Agentは、構造化仮説検証プロセスとしてビデオ質問応答を再構成するフレームワークである。
ビデオHV-Agentは,解釈性の向上,論理的音質の向上,計算コストの低減を実現し,最先端の精度を実現する。
論文 参考訳（メタデータ） (2026-03-05T09:16:07Z) - LongVideo-R1: Smart Navigation for Low-cost Long Video Understanding [106.23494088118571]
LongVideo-R1は、効率的なビデオコンテキストナビゲーションのためのマルチモーダル大言語モデル(MLLM)エージェントである。
これは、その後の処理において最も情報に富むビデオクリップを推測する。
LongVideo-R1エージェントは、2段階のパラダイムを通じてQwen-3-8Bモデルに微調整される。
論文 参考訳（メタデータ） (2026-02-24T13:49:47Z) - LongVT: Incentivizing "Thinking with Long Videos" via Native Tool Calling [87.98096428508181]
LongVTは、Multimodal Chain-of-Tool-Thoughtを通じて"Thinking with Long Videos"を可能にするエンドツーエンドのエージェントフレームワークである。
我々は、LMM固有の時間的接地機能を利用して、特定のビデオクリップをズームインし、よりきめ細かいビデオフレームを再サンプリングするネイティブビデオトリミングツールを開発した。
トレーニングデータセットは, ツール統合型冷間始動微調整用247.9K試料, エージェント強化学習用1.6K試料, エージェント強化微調整用15.4K試料からなる。
論文 参考訳（メタデータ） (2025-11-25T19:22:48Z) - CAViAR: Critic-Augmented Video Agentic Reasoning [90.48729440775223]
より複雑なビデオ推論を行うために、知覚能力を利用することができますか?
我々は,ビデオモジュールをサブエージェントやツールとして利用できる大規模言語モデルエージェントを開発した。
我々は,我々のエージェントと批評家の組み合わせが,データセット上で高い性能を達成することを示す。
論文 参考訳（メタデータ） (2025-09-09T17:59:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。