論文の概要: Sounding Surgical Instrument Localisation through Audio-Visual Correspondence

• arxiv url: http://arxiv.org/abs/2610.32816v2
• Date: Fri, 30 Oct 2026 15:48:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.346996
• Title: Sounding Surgical Instrument Localisation through Audio-Visual Correspondence
• Title（参考訳）: オーディオ・ビジュアル対応による音像定位
• Abstract要約: 手術シーン理解は、手術室におけるコンテキスト認識とインテリジェントシステムのための前提条件である。 本研究は,手術器具の外観と音の対応を学習し,単一のマイクとカメラから能動楽器を位置決めできるかどうかを検討する。 画像と音の共起から学習する音声-視覚的局所化の弱さを手術環境に適応させる。
• 参考スコア（独自算出の注目度）: 0.3450824757701092
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Surgical scene understanding is a prerequisite for context-aware and intelligent systems in the operating room. Current methods rely mostly on visual data, although sound carries complementary information on surgical activity. This work investigates whether the active instrument can be localised from a single microphone and a camera by learning the correspondence between the appearance and sound of surgical instruments. We adapt weakly supervised audio-visual localisation, which learns from the co-occurrence of image and sound, to the surgical setting. Trained without any spatial annotation, the model predicts a heatmap over the sounding instrument. We extend its training objective by silence and area terms, which suppress the output for silence and background noise, and a composite term, which trains the model to select the sounding one of two visible instruments. For training, we record a new corpus of simulated surgical sawing, drilling, and chiselling. On an independent corpus recorded with a different camera and microphone and with optically tracked instrument positions, the model localises the active instrument, separates instrument activity from silence and background noise, and attributes sound correctly when two instruments are present. Ablations show that the silence and area terms are required for detecting activity, and the composite term for selecting between instruments. Audio-visual correspondence learned from in-domain recordings connects the sound of a surgical action to the instrument that produces it. This proof of concept introduces a novel paradigm that enables the detection and localisation of surgical activity without annotating instrument positions.
• Abstract（参考訳）: 手術シーン理解は、手術室におけるコンテキスト認識とインテリジェントシステムのための前提条件である。 現在の方法は主に視覚データに依存しているが、音は外科的活動について補完的な情報をもたらす。 本研究は,手術器具の外観と音の対応を学習し,単一のマイクとカメラから能動楽器を位置決めできるかどうかを検討する。 画像と音の共起から学習する音声-視覚的局所化の弱さを手術環境に適応させる。 空間的アノテーションを使わずにトレーニングされたモデルは、音響機器上のヒートマップを予測する。 本研究では,2つの可視楽器のうちの1つを選択するようモデルに指示する複合用語を用いて,その学習対象をサイレントと面積で拡張し,サイレントとバックグラウンドノイズの出力を抑制する。 トレーニングでは,シミュレートされた外科的こぎり,ドリル,チンセールの新しいコーパスを記録している。 異なるカメラとマイクで記録され、光学的に追跡された楽器位置で記録された独立したコーパスにおいて、モデルは、アクティブな楽器をローカライズし、楽器活動とサイレントとバックグラウンドノイズを分離し、2つの楽器が存在するときの音響を正しく属性する。 アブレーションは、活動を検出するには沈黙項と領域項が必要であり、楽器間の選択には複合用語が必要であることを示している。 ドメイン内記録から学習した音声と視覚の対応は、外科的動作の音とそれを生成する楽器を結びつける。 この概念の証明は, 楽器の位置を付加することなく, 外科的活動の検出と局所化を可能にする新しいパラダイムを導入している。

関連論文リスト

• Supervising Sound Localization by In-the-wild Egomotion [68.0881501429328]
  我々は、カメラの動きの視覚的推定と一致する音方向を予測するために、音響モデルを訓練する。 実世界のデータからモデルを学習し,音像定位処理に有効であることを示す。
  論文  参考訳（メタデータ） (2026-10-01T09:52:42Z)
• Where It Moves, It Matters: Referring Surgical Instrument Segmentation via Motion [54.359489807885616]
  SurgRefは、自由形式の言語表現を楽器の動きに基礎を置くモーションガイドフレームワークである。 SurgRefをトレーニングし,評価するために,高密度時間マスクとリッチモーション表現を備えた多機能ビデオデータセットRef-IMotionを提案する。
  論文  参考訳（メタデータ） (2026-01-18T02:14:08Z)
• Sound Source Localization for Spatial Mapping of Surgical Actions in Dynamic Scenes [0.5146940511526402]
  本研究は,3次元音響情報を統合することにより,手術シーンの表現性を高めることを目的とする。 手術シーンの4次元映像表現を生成するための新しい枠組みを提案する。 提案するフレームワークにより,コンテキスト理解の充実が図られ,今後のインテリジェントな手術システムの基礎となる。
  論文  参考訳（メタデータ） (2025-10-28T11:55:45Z)
• Identifying Surgical Instruments in Laparoscopy Using Deep Learning Instance Segmentation [5.594717059891032]
  腹腔鏡下婦人科ビデオにおける手術器具のセグメンテーションと認識について検討した。 領域ベースの完全畳み込みネットワークを用いて,手術器具のセグメント化性能を背景から評価した。 評価の結果,訓練例が適度に少ない場合でも,楽器領域の局所化と分割を極めて高い精度で行うことができることがわかった。
  論文  参考訳（メタデータ） (2025-08-29T08:15:33Z)
• Show from Tell: Audio-Visual Modelling in Clinical Settings [58.88175583465277]
  臨床環境でのオーディオ・ビジュアル・モデリングを考察し、人間の専門的アノテーションを使わずに医学的表現を学習するためのソリューションを提供する。 この目的のために, 単純かつ効果的なマルチモーダル自己教師型学習フレームワークを提案する。 提案手法は,音声のみを基準として,超音波画像中の解剖学的関心領域をローカライズすることができる。
  論文  参考訳（メタデータ） (2023-10-25T08:55:48Z)
• Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures [50.09187683845788]
  手術用コンピュータビジョンの応用の最近の進歩は、視覚のみのモデルによって駆動されている。 これらの手法は、固定されたオブジェクトカテゴリのセットを予測するために手動で注釈付き手術ビデオに依存する。 本研究では,オープンな外科的eラーニングプラットフォームを通じて提供される外科的ビデオ講義が,効果的な視覚と言語監督の信号を提供することができるという考えを提起した。
  論文  参考訳（メタデータ） (2023-07-27T22:38:12Z)
• Egocentric Deep Multi-Channel Audio-Visual Active Speaker Localization [13.144367063836597]
  本稿では,音声活動の検出と局所化結果の堅牢性を実現するための,エンドツーエンドのディープラーニング手法を提案する。 実験の結果,提案手法はより優れた結果を与え,リアルタイムに動作可能であり,ノイズや乱れに対して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-01-06T05:40:16Z)
• Binaural SoundNet: Predicting Semantics, Depth and Motion with Binaural Sounds [118.54908665440826]
  人間は視覚的および/または聴覚的手がかりを用いて、オブジェクトを頑健に認識し、ローカライズすることができる。 この研究は、純粋に音に基づくシーン理解のためのアプローチを開発する。 視覚的および音声的手がかりの共存は、監督伝達に活用される。
  論文  参考訳（メタデータ） (2021-09-06T22:24:00Z)
• Semantic Object Prediction and Spatial Sound Super-Resolution with Binaural Sounds [106.87299276189458]
  人間は視覚的および聴覚的手がかりを統合することで、オブジェクトを強く認識し、ローカライズすることができる。 この研究は、純粋に音に基づく、音生成対象の密接なセマンティックラベリングのためのアプローチを開発する。
  論文  参考訳（メタデータ） (2020-03-09T15:49:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。