論文の概要: Temporally Consistent Label Interpolation for Robust Surgical Multi-Task Learning under Challenging Conditions

• arxiv url: http://arxiv.org/abs/2606.26634v1
• Date: Thu, 25 Jun 2026 05:55:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.182624
• Title: Temporally Consistent Label Interpolation for Robust Surgical Multi-Task Learning under Challenging Conditions
• Title（参考訳）: 混在条件下でのロバストな手術用マルチタスク学習のための時間一貫性ラベル補間法
• Abstract要約: ロバスト・オペレーティング・シーン(FAROS)のフロー誘導時間 ゼロショットセグメンテーションに基づくマスク伝搬と光学的フロー推定を組み合わせたフロー誘導ラベルフレームワークは,手術条件下での外観ベースの伝搬の限界を克服する。 統合されたトランスフォーマーベースのマルチタスクフレームワークは、手術相認識、ステップ認識、予測、楽器セグメンテーション、アクション認識を共同で学習する。
• 参考スコア（独自算出の注目度）: 4.361526134899725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective multi-task learning for surgical scene understanding is fundamentally hindered by annotation granularity mismatch; temporal workflow tasks such as phase recognition, step recognition and anticipation benefit from dense frame-level supervision, whereas pixel-level spatial tasks including instrument segmentation and action recognition are only sparsely annotated on selected keyframes due to prohibitive labeling costs. This supervision imbalance undermines shared representation learning and limits joint optimization across heterogeneous surgical tasks. To address this, we propose Flow-guided Annotation for Robust Operating Scenes (FAROS), a flow-guided label interpolation framework, that combines zero-shot segmentation-based mask propagation with optical flow estimation to overcome the limitations of appearance-based propagation under challenging surgical conditions such as occlusion, smoke, and motion blur, generating temporally consistent dense pseudo labels from sparse keyframe annotations. The densified instrument masks and action labels are integrated into a unified Transformer-based multi-task framework that jointly learns surgical phase recognition, step recognition, anticipation, instrument segmentation, and action recognition, enabling balanced optimization between dense temporal supervision and sparse spatial supervision. The label interpolation quality of FAROS is first validated on the DAVIS 2017 benchmark under a sparse ground-truth protocol, confirming robust propagation beyond the surgical domain. Extensive experiments on GraSP, MISAW, and AutoLaparo benchmarks further demonstrate that FAROS significantly improves cross-task representation learning and enhances holistic surgical scene understanding performance across spatio-temporal tasks.
• Abstract（参考訳）: 効果的なマルチタスク学習は、アノテーションの粒度ミスマッチによって基本的に妨げられ、位相認識、ステップ認識、高密度フレームレベルの監視による予測といった時間的ワークフロータスクは、楽器のセグメンテーションやアクション認識を含むピクセルレベルの空間タスクは、禁止的なラベリングコストによって選択されたキーフレームに対してわずかにアノテートされるのみである。 この監督の不均衡は、共有表現学習を損なうとともに、異種手術タスク間の共同最適化を制限する。 これを解決するために、フロー誘導型ラベル補間フレームワークであるフロー誘導型ロバスト動作シーン用アノテーション(FAROS)を提案する。これは、ゼロショットセグメンテーションに基づくマスク伝搬と光フロー推定を組み合わせ、オクルージョン、スモーク、モーションボケといった困難な手術条件下での外観ベースの伝搬の限界を克服し、スパースキーフレームのアノテーションから時間的に一貫した擬似ラベルを生成する。 密集した楽器マスクとアクションラベルは、統合されたトランスフォーマーベースのマルチタスクフレームワークに統合され、外科的位相認識、ステップ認識、予測、楽器セグメンテーション、アクション認識を共同で学習し、密集した時間的監督とスパース空間監視のバランスの取れた最適化を可能にする。 FAROSのラベル補間品質は、DAVIS 2017ベンチマークにおいて、外科領域を超えて頑健な伝播を確認したスパースグラウンドトルースプロトコルで最初に検証された。 GraSP, MISAW, AutoLaparoベンチマークの広範な実験により、FAROSはクロスタスク表現学習を著しく改善し、時空間タスク間の総合的な手術シーン理解性能を向上させることが示されている。

関連論文リスト

• From Spatial Semantics to Temporal Context: Leveraging Gaze Trajectory for Weakly Supervised Medical Image Segmentation [5.809537365593592]
  眼球追跡は、自然に臨床に組み込むことのできる費用対効果のソリューションを提供する。 軌道誘導型不確実性認識ネットワーク(TrailNet)を提案する。 TrailNetは、空間的意味論から時間的文脈への視線監督された医療画像セグメンテーションを、固定と軌跡を共同で活用することによって活用する。
  論文  参考訳（メタデータ） (2026-07-29T07:13:31Z)
• Towards Unified Surgical Scene Understanding:Bridging Reasoning and Grounding via MLLMs [32.18549469001096]
  SurgMLLMは統一的な手術シーン理解フレームワークである。 単一のモデル内で、ハイレベルな推論と低レベルなビジュアルグラウンドをブリッジする。 大規模な実験により、SurgMLLMは外科的シーン理解を著しく前進させることが示された。
  論文  参考訳（メタデータ） (2026-05-13T13:42:23Z)
• CurConMix+: A Unified Spatio-Temporal Framework for Hierarchical Surgical Workflow Understanding [1.0692208281858493]
  手術行動三重項認識は、楽器、行動、解剖学的標的間の相互作用をモデル化することによって、詳細な外科的行動を理解することを目的としている。 ワークフロー分析とスキルアセスメントにおいて臨床的に重要であるにもかかわらず、進行は重度のクラス不均衡、微妙な視覚的変化、三重項成分間の相互依存によって妨げられている。 本研究では,これらの課題に対処するための空間表現フレームワークであるCurConMixを構築した。
  論文  参考訳（メタデータ） (2026-01-18T08:42:10Z)
• Surgical Video Understanding with Label Interpolation [3.880707330499936]
  ロボット補助手術 (RAS) は, 患者の回復を促進するとともに, 外科医の負担を軽減し, 近代的な手術において重要なパラダイムとなっている。 これまでの研究は主にシングルタスクのアプローチに焦点が当てられていたが、実際の手術シーンには複雑な時間的ダイナミクスと多様な楽器の相互作用が含まれる。 本稿では,光フローベースセグメンテーションラベルとマルチタスク学習を組み合わせた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-23T08:49:07Z)
• Context-aware TFL: A Universal Context-aware Contrastive Learning Framework for Temporal Forgery Localization [60.73623588349311]
  本研究では,時間的フォージェリーローカライゼーションのための共通文脈対応コントラスト学習フレームワーク (UniCaCLF) を提案する。 提案手法は教師付きコントラスト学習を利用して,異常検出による偽造瞬間の検出と同定を行う。 実物と偽物との間における特徴の識別可能性の限界をさらに押し上げるために、効率的な文脈対応コントラスト符号化を導入する。
  論文  参考訳（メタデータ） (2025-06-10T06:40:43Z)
• FinePseudo: Improving Pseudo-Labelling through Temporal-Alignablity for Semi-Supervised Fine-Grained Action Recognition [57.17966905865054]
  実生活における行動認識の応用は、しばしば微妙な動きのきめ細かい理解を必要とする。 既存の半教師ありアクション認識は主に粗いアクション認識に焦点を当てている。 そこで我々は,微粒なアクションペアの識別を効果的に行うための,アライナビリティ検証に基づくメトリック学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T20:08:06Z)
• Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised Semantic Segmentation [79.05949524349005]
  AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。 また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
  論文  参考訳（メタデータ） (2024-03-02T10:03:21Z)
• Spatiotemporal Multi-scale Bilateral Motion Network for Gait Recognition [3.1240043488226967]
  本稿では,光学的流れに動機づけられた両動方向の特徴について述べる。 動作コンテキストを多段階の時間分解能でリッチに記述する多段階の時間表現を開発する。
  論文  参考訳（メタデータ） (2022-09-26T01:36:22Z)
• Real-time landmark detection for precise endoscopic submucosal dissection via shape-aware relation network [51.44506007844284]
  内視鏡下粘膜下郭清術における高精度かつリアルタイムなランドマーク検出のための形状認識型関係ネットワークを提案する。 まず,ランドマーク間の空間的関係に関する先行知識を直感的に表現する関係キーポイント・ヒートマップを自動生成するアルゴリズムを考案する。 次に、事前知識を学習プロセスに段階的に組み込むために、2つの補完的な正規化手法を開発する。
  論文  参考訳（メタデータ） (2021-11-08T07:57:30Z)
• AASeg: Attention Aware Network for Real Time Semantic Segmentation [0.0]
  リアルタイムセマンティックセグメンテーションのための新しいアテンション・アウェアネットワークであるAASegを提案する。 AASegは精度と効率のトレードオフを実現し、従来のリアルタイム手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-27T20:01:55Z)
• Leveraging Auxiliary Tasks with Affinity Learning for Weakly Supervised Semantic Segmentation [88.49669148290306]
  そこで我々はAuxSegNetと呼ばれる弱教師付きマルチタスク・フレームワークを提案し,サリエンシ検出とマルチラベル画像分類を補助タスクとして活用する。 同様の構造的セマンティクスに着想を得て,サリエンシとセグメンテーションの表現から,クロスタスクなグローバル画素レベルの親和性マップを学習することを提案する。 学習されたクロスタスク親和性は、両方のタスクに対して改善された擬似ラベルを提供するために、唾液度予測を洗練し、CAMマップを伝播するために使用することができる。
  論文  参考訳（メタデータ） (2021-07-25T11:39:58Z)
• Trans-SVNet: Accurate Phase Recognition from Surgical Videos via Hybrid Embedding Aggregation Transformer [57.18185972461453]
  本稿では,手術ワークフロー解析トランスフォーマーを初めて導入し,正確な位相認識のための時間的特徴と時間的特徴の無視された補完効果を再考する。 我々のフレームワークは軽量であり、高い推論速度を達成するためにハイブリッド埋め込みを並列に処理します。
  論文  参考訳（メタデータ） (2021-03-17T15:12:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。