論文の概要: Optimize Surgical Triplet Recognition: A Knowledge-Driven Mixture-of-Experts Solution
- arxiv url: http://arxiv.org/abs/2608.22972v1
- Date: Mon, 24 Aug 2026 08:32:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 18:24:36.995441
- Title: Optimize Surgical Triplet Recognition: A Knowledge-Driven Mixture-of-Experts Solution
- Title(参考訳): 外科的トリプレット認識の最適化:知識駆動型ミックス・オブ・エクササイズ・ソリューション
- Abstract要約: 本稿では知識駆動学習を利用したMixture-of-Experts-Guided Co-Optimizationフレームワークを提案する。
カテゴリーレベルの競合に対処するための協調的な勾配学習戦略を開発する。
特に、外科領域の専門知識に触発されて、知識駆動型ミックス・オブ・エキスパート機構を導入する。
- 参考スコア(独自算出の注目度): 52.149337961205624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Surgical action triplet recognition constitutes a critical task in context-aware robot-assisted surgery, facilitating automatic surgical action perception by identifying instrument, verb, target, and their association. However, existing works struggle to analyze such complex surgical scenes due to three main issues: (1) component-level optimization conflicts caused by entangled feature spaces, (2) category-level optimization conflicts arising from severe data imbalance, and (3) lack of domain knowledge guidance that limits model interpretability and robustness. To address these challenges, we propose a Mixture-of-Experts-guided Co-Optimization (\textit{MoeCo}) framework powered by knowledge-driven learning. Within the co-optimization pipeline, to first mitigate component-level conflicts, we introduce a component-tailored adapter that disentangles task-specific features across spatial-temporal regimes, facilitating effective component specialization. Next, we develop a coordinated gradient learning strategy to handle category-level conflicts, which adaptively rebalances positive-negative gradients to enhance the perception of rare categories. Notably, inspired by surgical domain expertise, we introduce a knowledge-driven mixture-of-experts mechanism that dynamically integrates multimodal large language model-guided knowledge via activated experts, thereby enriching the co-optimization pipeline with more expressive and robust representations. Extensive experiments on the public CholecT45 and CholecT50 datasets confirm the effectiveness of the proposed co-optimization pipeline and the superiority of dynamic priors integration via the knowledge-driven mixture-of-experts mechanism.
- Abstract(参考訳): 手術行動三重項認識は、文脈認識型ロボット支援手術において重要な課題であり、道具、動詞、ターゲット、およびそれらの関連を識別することで、自動的な手術行動認識を容易にする。
しかし,既存の研究は,(1)絡み合った特徴空間によるコンポーネントレベルの最適化競合,(2)厳密なデータ不均衡に起因するカテゴリレベルの最適化対立,(3)モデルの解釈可能性と堅牢性を制限するドメイン知識指導の欠如という3つの問題から,このような複雑な手術シーンの分析に苦慮している。
これらの課題に対処するため,知識駆動学習を活用したMixture-of-Experts-guided Co-Optimization(\textit{MoeCo})フレームワークを提案する。
協調最適化パイプライン内では、まずコンポーネントレベルのコンフリクトを軽減するために、空間的時間的レシエーションにまたがるタスク固有の特徴を解消し、効率的なコンポーネント特殊化を促進するコンポーネント調整アダプタを導入する。
次に,まれなカテゴリーの知覚を高めるために,正負の勾配を適応的に再バランスさせる,カテゴリーレベルの対立を扱うための協調的な勾配学習戦略を開発する。
特に、外科領域の専門知識に触発された知識駆動型ミックス・オブ・エキスパート機構を導入し、アクティベートした専門家を通してマルチモーダルな大規模言語モデルに基づく知識を動的に統合し、より表現的で堅牢な表現で協調最適化パイプラインを強化する。
パブリックなColecT45とColecT50データセットに対する大規模な実験により、提案されたコ最適化パイプラインの有効性と、知識駆動型ミックス・オブ・エキスパート機構による動的事前統合の優位性が確認された。
関連論文リスト
- Unleashing Multimodal Large Language Models for Training-free HOI Detection in the Wild [49.77540427384148]
本稿では,基礎モデルの汎用的マルチモーダル推論能力を野生でのHOI検出に伝達する,訓練不要なエージェント型フレームワークであるAgenHoIを提案する。
不完全な相互作用発見と複雑な場面におけるあいまいな局所化の課題に対処するために,2つの重要なメカニズムを導入する。
AgentHOIは、リアルタイム設定において、最先端の教師付きおよび弱教師付きメソッドよりも優れたパフォーマンスを実現する。
論文 参考訳(メタデータ) (2026-07-15T14:30:20Z) - AMATA: Adaptive Multi-Agent Trajectory Alignment for Knowledge-Intensive Question Answering [59.145044878490815]
AMATAはAdaptive Multi-Agent Trajectory Alignmentフレームワークである。
外部知識を動的に統合し、応答の解釈可能性と事実的根拠を改善する。
本稿では,(1)重要エージェントを優先する目的指向の嗜好を学習するトラジェクトリ内選好学習,(2)エージェント間の依存性学習,という2つの主要なイノベーションを紹介する。
論文 参考訳(メタデータ) (2026-05-17T09:45:24Z) - CurConMix+: A Unified Spatio-Temporal Framework for Hierarchical Surgical Workflow Understanding [1.0692208281858493]
手術行動三重項認識は、楽器、行動、解剖学的標的間の相互作用をモデル化することによって、詳細な外科的行動を理解することを目的としている。
ワークフロー分析とスキルアセスメントにおいて臨床的に重要であるにもかかわらず、進行は重度のクラス不均衡、微妙な視覚的変化、三重項成分間の相互依存によって妨げられている。
本研究では,これらの課題に対処するための空間表現フレームワークであるCurConMixを構築した。
論文 参考訳(メタデータ) (2026-01-18T08:42:10Z) - Heterogeneous Multi-Agent Reinforcement Learning with Attention for Cooperative and Scalable Feature Transformation [21.732611237889326]
特徴変換は、数学的特徴交差を通じて情報的特徴を生成することにより、下流タスク性能を向上させる。
近年の研究では、より効果的な試行錯誤方法を通じて、従来のアプローチを強化するために強化学習を採用している。
協調的かつスケーラブルな特徴変換を実現するために,新しい異種マルチエージェントRLフレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-26T21:45:38Z) - MEJO: MLLM-Engaged Surgical Triplet Recognition via Inter- and Intra-Task Joint Optimization [52.149337961205624]
手術用三重項認識のためのタスク間最適化とタスク内最適化を両立する枠組みを提案する。
タスク間最適化のために、タスク共有およびタスク固有コンポーネントに表現を分解する共有特徴分散学習スキーム(S$2$D)を導入する。
タスク内最適化競合に対して,正負の曖昧さを識別・再バランスするコーディネート・グラディエント・ラーニング(CGL)戦略を開発する。
論文 参考訳(メタデータ) (2025-09-16T09:48:52Z) - SurgRAW: Multi-Agent Workflow with Chain-of-Thought Reasoning for Surgical Intelligence [16.584722724845182]
手術インテリジェンスにおける視覚-言語モデルの統合は、幻覚、ドメイン知識のギャップ、タスク相互依存性の限定的な理解によって妨げられている。
本稿では,CoT駆動型マルチエージェントフレームワークであるSurgRAWについて紹介する。
論文 参考訳(メタデータ) (2025-03-13T11:23:13Z) - Astrea: A MOE-based Visual Understanding Model with Progressive Alignment [10.943104653307294]
マルチモーダル理解において,Mixture-of-Experts (MoE)アーキテクチャに基づく視覚言語モデル (VLM) が重要なパラダイムとして登場した。
本稿では,プログレッシブ事前アライメントに基づく新しいマルチエキスパート協調型VLMアーキテクチャであるAstreaを提案する。
論文 参考訳(メタデータ) (2025-03-12T14:44:52Z) - EAGER-LLM: Enhancing Large Language Models as Recommenders through Exogenous Behavior-Semantic Integration [60.47645731801866]
大規模言語モデル(LLM)は、高度なレコメンデータシステムの基本バックボーンとしてますます活用されている。
LLMは事前訓練された言語意味論であるが、llm-Backboneを通してゼロから協調意味論を学ぶ。
内因性行動情報と内因性行動情報とを非侵襲的に統合するデコーダのみの生成推薦フレームワークであるEAGER-LLMを提案する。
論文 参考訳(メタデータ) (2025-02-20T17:01:57Z) - Re-mine, Learn and Reason: Exploring the Cross-modal Semantic
Correlations for Language-guided HOI detection [57.13665112065285]
ヒューマンオブジェクトインタラクション(HOI)検出は、コンピュータビジョンの課題である。
本稿では,構造化テキスト知識を組み込んだHOI検出フレームワークを提案する。
論文 参考訳(メタデータ) (2023-07-25T14:20:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。