論文の概要: Sounding Surgical Instrument Localisation through Audio-Visual Correspondence

• arxiv url: http://arxiv.org/abs/2610.32816v1
• Date: Fri, 23 Oct 2026 15:51:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.600999
• Title: Sounding Surgical Instrument Localisation through Audio-Visual Correspondence
• Title（参考訳）: オーディオ・ビジュアル対応による音像定位
• Abstract要約: 本研究は,手術器具の外観と音の対応を学習し,単一のマイクとカメラから能動楽器を位置決めできるかどうかを検討する。 我々は, 模擬的な手術行動, シーティング, ドリル, チャイズリングを記録し, 空間的アノテーションを使わずにこれらの記録のモデルを訓練し, 音響ツール上のヒートマップを生成する。 このモデルは、異なるカメラとマイクで記録された独立コーパス上のアクティブな楽器をローカライズし、光学的トラッキングにより楽器の位置を求める。
• 参考スコア（独自算出の注目度）: 0.3450824757701092
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Surgical scene understanding is a prerequisite for context-aware and intelligent systems in the operating room. Current methods rely mostly on visual data, while acoustic sensing has shown potential to provide complementary information on surgical activity. First approaches for the localisation of surgical activity relied on microphone arrays and acoustic beamforming. This work investigates whether the active instrument can be localized from a single microphone and a camera by learning the correspondence between the appearance and the sound of surgical instruments, without annotating its position. We adapt weakly supervised audio-visual localisation, which learns from the co-occurrence of image and sound, to the surgical setting. We record simulated surgical actions, sawing, drilling, and chiseling, and train the model on these recordings without any spatial annotation to produce a heatmap over the sounding tool. We extend the training objective by two terms: a silence term, which suppresses the output for silence and background noise, and a composite term, which trains the model to select the sounding one of two visible instruments. The model localizes the active instrument on an independent corpus recorded with a different camera and microphone, in which instrument positions were obtained by optical tracking. It separates tool activity from silence and background noise and can attribute sound correctly when two tools are present. Audio-visual correspondence learned from in-domain recordings connects the sound of a surgical action to the instrument that produces it, using a single microphone and a camera. This proof of concept introduces a novel paradigm that enables the detection and localisation of surgical activity without manual annotations.
• Abstract（参考訳）: 手術シーン理解は、手術室におけるコンテキスト認識とインテリジェントシステムのための前提条件である。 現在の方法では、主に視覚データに依存しているが、音響センサーは、外科的活動に関する補完的な情報を提供する可能性がある。 外科的活動の局所化への最初のアプローチは、マイクロフォンアレイと音響ビームフォーミングに依存していた。 本研究は,手術器具の外観と音の対応を学習し,その位置を付加することなく,単一のマイクとカメラから能動楽器を局部化できるかどうかを検討する。 画像と音の共起から学習する音声-視覚的局所化の弱さを手術環境に適応させる。 我々は, 模擬的な手術行動, シーティング, ドリル, チャイズリングを記録し, 空間的アノテーションを使わずにこれらの記録のモデルを訓練し, 音響ツール上のヒートマップを生成する。 トレーニング対象を2つの用語で拡張する: サイレント項(サイレント項)は、サイレント項(サイレント項)とバックグラウンドノイズ(バックグラウンドノイズ)の出力を抑えるもので、複合項(複合項)は、2つの可視楽器のうちの1つを選択するようにモデルを訓練する。 このモデルは、異なるカメラとマイクで記録された独立コーパス上のアクティブな楽器をローカライズし、光学的トラッキングにより楽器の位置を求める。 ツールアクティビティをサイレントとバックグラウンドノイズから分離し、2つのツールが存在するときの音を正確に評価する。 ドメイン内記録から学習した音声と視覚の対応は、手術動作の音を、単一のマイクとカメラを使用して、それを生成する機器に接続する。 この概念実証は,手動のアノテーションを使わずに外科的活動の検出と局所化を可能にする新しいパラダイムを導入している。

関連論文リスト

• Supervising Sound Localization by In-the-wild Egomotion [68.0881501429328]
  我々は、カメラの動きの視覚的推定と一致する音方向を予測するために、音響モデルを訓練する。 実世界のデータからモデルを学習し,音像定位処理に有効であることを示す。
  論文  参考訳（メタデータ） (2026-10-01T09:52:42Z)
• Where It Moves, It Matters: Referring Surgical Instrument Segmentation via Motion [54.359489807885616]
  SurgRefは、自由形式の言語表現を楽器の動きに基礎を置くモーションガイドフレームワークである。 SurgRefをトレーニングし,評価するために,高密度時間マスクとリッチモーション表現を備えた多機能ビデオデータセットRef-IMotionを提案する。
  論文  参考訳（メタデータ） (2026-01-18T02:14:08Z)
• Sound Source Localization for Spatial Mapping of Surgical Actions in Dynamic Scenes [0.5146940511526402]
  本研究は,3次元音響情報を統合することにより,手術シーンの表現性を高めることを目的とする。 手術シーンの4次元映像表現を生成するための新しい枠組みを提案する。 提案するフレームワークにより,コンテキスト理解の充実が図られ,今後のインテリジェントな手術システムの基礎となる。
  論文  参考訳（メタデータ） (2025-10-28T11:55:45Z)
• Identifying Surgical Instruments in Laparoscopy Using Deep Learning Instance Segmentation [5.594717059891032]
  腹腔鏡下婦人科ビデオにおける手術器具のセグメンテーションと認識について検討した。 領域ベースの完全畳み込みネットワークを用いて,手術器具のセグメント化性能を背景から評価した。 評価の結果,訓練例が適度に少ない場合でも,楽器領域の局所化と分割を極めて高い精度で行うことができることがわかった。
  論文  参考訳（メタデータ） (2025-08-29T08:15:33Z)
• Show from Tell: Audio-Visual Modelling in Clinical Settings [58.88175583465277]
  臨床環境でのオーディオ・ビジュアル・モデリングを考察し、人間の専門的アノテーションを使わずに医学的表現を学習するためのソリューションを提供する。 この目的のために, 単純かつ効果的なマルチモーダル自己教師型学習フレームワークを提案する。 提案手法は,音声のみを基準として,超音波画像中の解剖学的関心領域をローカライズすることができる。
  論文  参考訳（メタデータ） (2023-10-25T08:55:48Z)
• Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures [50.09187683845788]
  手術用コンピュータビジョンの応用の最近の進歩は、視覚のみのモデルによって駆動されている。 これらの手法は、固定されたオブジェクトカテゴリのセットを予測するために手動で注釈付き手術ビデオに依存する。 本研究では,オープンな外科的eラーニングプラットフォームを通じて提供される外科的ビデオ講義が,効果的な視覚と言語監督の信号を提供することができるという考えを提起した。
  論文  参考訳（メタデータ） (2023-07-27T22:38:12Z)
• Egocentric Deep Multi-Channel Audio-Visual Active Speaker Localization [13.144367063836597]
  本稿では,音声活動の検出と局所化結果の堅牢性を実現するための,エンドツーエンドのディープラーニング手法を提案する。 実験の結果,提案手法はより優れた結果を与え,リアルタイムに動作可能であり,ノイズや乱れに対して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-01-06T05:40:16Z)
• Binaural SoundNet: Predicting Semantics, Depth and Motion with Binaural Sounds [118.54908665440826]
  人間は視覚的および/または聴覚的手がかりを用いて、オブジェクトを頑健に認識し、ローカライズすることができる。 この研究は、純粋に音に基づくシーン理解のためのアプローチを開発する。 視覚的および音声的手がかりの共存は、監督伝達に活用される。
  論文  参考訳（メタデータ） (2021-09-06T22:24:00Z)
• Semantic Object Prediction and Spatial Sound Super-Resolution with Binaural Sounds [106.87299276189458]
  人間は視覚的および聴覚的手がかりを統合することで、オブジェクトを強く認識し、ローカライズすることができる。 この研究は、純粋に音に基づく、音生成対象の密接なセマンティックラベリングのためのアプローチを開発する。
  論文  参考訳（メタデータ） (2020-03-09T15:49:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。