論文の概要: Stitch-Inferencer: Enhance Endoscopic Video Segmentation and Tracking via Panoramic Reconstruction

• arxiv url: http://arxiv.org/abs/2607.14968v1
• Date: Thu, 16 Jul 2026 13:24:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:33.119584
• Title: Stitch-Inferencer: Enhance Endoscopic Video Segmentation and Tracking via Panoramic Reconstruction
• Title（参考訳）: Stitch-Inferencer:パノラマ再建による内視鏡的ビデオ分割と追跡の促進
• Abstract要約: 暗黙的メモリを明示的な画像空間パノラマキャンバスに置き換えるリアルタイムモデルに依存しない推論フレームワークであるStitch-Inferencerを提案する。 フレーム間で有効な観察を縫い合わせることで、Stitch-Inferencerは、以前に観察されたピクセルをオンラインの計器無しのビューで保存する。 解剖学的セグメンテーションとポイント/ボックストラッキングの実験は、様々なベースラインで一貫した改善を示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Surgical video understanding is fundamental to navigation systems. Endoscopic perception is often hindered by a limited field-of-view and frequent instrument occlusions, making spatio-temporal context essential for robust inference. These challenges have motivated video models that aggregate information across frames. However, existing video models typically store past observations implicitly in learned feature representations, often requiring task-specific video training, substantial annotated data, and increased computational cost. We propose Stitch-Inferencer, a real-time, model-agnostic inference framework that replaces implicit feature memory with an explicit image-space panoramic canvas. By stitching valid observations across frames, Stitch-Inferencer preserves previously observed pixels in an online, instrument-free view, expanding the effective field-of-view and providing direct access to regions that are temporarily occluded or absent from the current frame. Downstream segmentation or tracking models are applied to a compact region of interest on the panorama, and their predictions are reprojected to the current frame, enabling existing models to exploit long-range context without retraining. Experiments on anatomy segmentation and point/box tracking demonstrate consistent improvements across diverse baselines while preserving real-time throughput. The stitching module alone runs at over 60 FPS, providing a practical inference-time solution to enhance endoscopic perception in computationally constrained intraoperative environments. Source code will be made publicly available.
• Abstract（参考訳）: ナビゲーションシステムには外科的ビデオ理解が不可欠である。 内視鏡的知覚は、しばしば視野の制限と頻繁な計器閉塞によって妨げられ、頑健な推論には時空間的文脈が不可欠である。 これらの課題は、フレーム全体で情報を集約するビデオモデルを動機付けている。 しかし、既存のビデオモデルは、通常、学習した特徴表現に暗黙的に過去の観察を記憶し、多くの場合、タスク固有のビデオトレーニング、実質的な注釈付きデータ、計算コストの増大を必要とする。 暗黙的特徴記憶を明示的な画像空間パノラマキャンバスに置き換えるリアルタイムモデルに依存しない推論フレームワークであるStitch-Inferencerを提案する。 フレーム間の有効な観察を縫い合わせることで、Stitch-Inferencerは、以前観察されたピクセルを、オンラインで楽器のないビューで保存し、有効視野を広げ、現在のフレームから一時的に排除または欠落した領域に直接アクセスする。 下流のセグメンテーションまたは追跡モデルがパノラマの関心のあるコンパクトな領域に適用され、それらの予測が現在のフレームに再プロジェクションされ、既存のモデルは再トレーニングせずに長距離コンテキストを活用できる。 解剖学的セグメンテーションとポイント/ボックストラッキングの実験は、リアルタイムスループットを維持しながら、さまざまなベースラインにわたって一貫した改善を示している。 縫合モジュールは60FPS以上で動作し、計算的に制約された術中環境での内視鏡的知覚を高めるための実用的な推測時間ソリューションを提供する。 ソースコードは公開されます。

関連論文リスト

• Seen-to-Scene: Keep the Seen, Generate the Unseen for Video Outpainting [29.60843145809862]
  ビデオのアウトパインティングは、オリジナルのフレームの境界を超えて、ビデオの可視コンテンツを拡張することを目的としている。 本稿では,映像のアウトパインティングのための伝搬型および生成型パラダイムを統一する新しいフレームワークであるSeen-to-Sceneを提案する。
  論文  参考訳（メタデータ） (2026-04-16T05:55:11Z)
• OmniStream: Mastering Perception, Reconstruction and Action in Continuous Streams [57.22276728212066]
  現代の視覚エージェントは、リアルタイムストリーミング環境で動作するために、一般的な、因果的、物理的に構造化された表現を必要とする。 本稿では,多様な視覚入力を効果的に知覚し,再構成し,動作させる,統合されたストリーミング視覚バックボーンであるOmniStreamを紹介する。
  論文  参考訳（メタデータ） (2026-03-12T17:59:55Z)
• Learning Spatio-Temporal Feature Representations for Video-Based Gaze Estimation [50.05866669110754]
  映像に基づく視線推定手法は、複数の画像フレームから人間の視線の本質的な時間的ダイナミクスを捉えることを目的としている。 本稿では、CNNバックボーンと専用のチャンネルアテンションと自己注意モジュールを組み合わせたモデルであるSpatio-Temporal Gaze Network(ST-Gaze)を提案する。 そこで本研究では,ST-Gazeが個人固有の適応を伴わずとも最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2025-12-19T15:15:58Z)
• Online Long-term Point Tracking in the Foundation Model Era [0.0]
  ポイントトラッキングは、ビデオフレーム全体で同じ物理点を識別することを目的としており、動きの幾何学的表現として機能する。 この論文は、将来の情報にアクセスせずにフレームを逐次処理するオンライン環境での長期的ポイントトラッキングの問題に対処する。 本稿では,各トラックポイントを問合せとして扱い,ビデオフレームを1回ずつ処理するトランスフォーマーベースのモデルであるTrack-Onを紹介する。
  論文  参考訳（メタデータ） (2025-07-12T09:24:28Z)
• Tracktention: Leveraging Point Tracking to Attend Videos Faster and Better [61.381599921020175]
  時間的一貫性は、出力が一貫性があり、アーティファクトがないことを保証するために、ビデオ予測において重要である。 時間的注意や3D畳み込みといった伝統的な手法は、重要な物体の動きに苦しむことがある。 本稿では,ポイントトラックを用いた動き情報を明示的に統合する新しいアーキテクチャコンポーネントであるトラックキート・レイヤを提案する。
  論文  参考訳（メタデータ） (2025-03-25T17:58:48Z)
• STOP: Integrated Spatial-Temporal Dynamic Prompting for Video Understanding [48.12128042470839]
  本稿では,STOP(Spatial-Temporal dynamic Prompting)モデルを提案する。 2つの相補的なモジュールで構成され、フレーム内の空間的プロンプトとフレーム間の時間的プロンプトである。 STOPは、最先端のメソッドに対して一貫して優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-03-20T09:16:20Z)
• Distortion-Aware Network Pruning and Feature Reuse for Real-time Video Segmentation [49.17930380106643]
  本稿では,リアルタイム視覚タスクのスキップ接続によるアーキテクチャの高速化を目的とした新しいフレームワークを提案する。 具体的には、各フレームの到着時に、前のフレームから特徴を変換し、特定の空間的ビンで再利用する。 次に、現在のフレームの領域におけるバックボーンネットワークの部分計算を行い、現在のフレームと前のフレームの時間差をキャプチャする。
  論文  参考訳（メタデータ） (2022-06-20T07:20:02Z)
• FoV-Net: Field-of-View Extrapolation Using Self-Attention and Uncertainty [95.11806655550315]
  我々は、視野の狭いビデオシーケンスからの情報を利用して、視野の広いシーンでシーンを推測する。 本稿では、時間的に一貫した視野外補間フレームワークFoV-Netを提案する。 実験によると、FoV-Netは、時間的に一貫した視野のシーンを、既存の代替手段よりもうまく外挿している。
  論文  参考訳（メタデータ） (2022-04-04T06:24:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。