Fugu-MT 論文翻訳(概要): LAVIFT: Latent-Action-Guided Vision Fine-Tuning for Surgical Interaction Recognition

論文の概要: LAVIFT: Latent-Action-Guided Vision Fine-Tuning for Surgical Interaction Recognition

arxiv url: http://arxiv.org/abs/2607.19889v1
Date: Wed, 22 Jul 2026 08:20:52 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-23 18:51:38.027232
Title: LAVIFT: Latent-Action-Guided Vision Fine-Tuning for Surgical Interaction Recognition
Title（参考訳）: LAVIFT : 手術間相互作用認識のための潜時動作誘導型視覚ファインチューニング
Abstract要約: 視覚言語微調整のためのエンドツーエンドの潜在動作誘導フレームワークであるLAViFiTを紹介する。逆ダイナミクスモデルは各アクションによって引き起こされる視覚変化をキャプチャし、フォワードワールドモデルはエンコーダを動作関連領域を表すように駆動する。パッチレベルのSIG正規化器は、バウンディングボックスや擬似ラベルなどの追加の監督なしに、局所的な特徴の崩壊を防ぐ。
参考スコア（独自算出の注目度）: 13.912437629529691
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Understanding instrument-tissue interactions is essential for context-aware surgical AI and autonomous robotic surgery. Pretrained vision-language models (VLMs) and vision encoders offer an alternative to conventional interaction classifiers by transferring broad visual and semantic knowledge. However, adapting them to fine-grained surgical interactions remains challenging: (1) freezing the vision encoder depends entirely on pretrained representations that may retain noise and provide weak spatial localization, while (2) full fine-tuning can improve global semantic alignment without ensuring that the encoder learns meaningful features in the correct action region. We address these limitations by introducing LAViFiT, an end-to-end latent-action-guided framework for vision-language fine-tuning. An inverse dynamics model captures the visual changes induced by each action, while a forward world model drives the encoder to represent action-relevant regions. A patch-level SIG Regularizer further prevents local feature collapse without additional supervision, such as bounding boxes or pseudo-labels. Experiments across multiple encoders and datasets improve recognition and image-text alignment, while representation analyses show stronger grounding over the complete instrument-tissue interaction region and more spatially coherent features.
Abstract（参考訳）: 機器と機器の相互作用を理解することは、コンテキスト対応の外科的AIと自律ロボット手術に不可欠である。事前訓練された視覚言語モデル(VLM)と視覚エンコーダは、幅広い視覚的および意味的知識を伝達することによって、従来の相互作用分類器に代わるものを提供する。 1)視覚エンコーダの凍結は、ノイズを保ち、空間的局在が弱い事前訓練された表現に完全に依存するが、(2)完全な微調整は、エンコーダが正しい動作領域で有意義な特徴を学習することを保証することなく、大域的な意味的アライメントを改善することができる。視覚言語微調整のためのエンドツーエンドの潜在動作誘導フレームワークであるLAViFiTを導入することで、これらの制限に対処する。逆ダイナミクスモデルは各アクションによって引き起こされる視覚変化をキャプチャし、フォワードワールドモデルはエンコーダを動作関連領域を表すように駆動する。パッチレベルのSIG正規化器は、バウンディングボックスや擬似ラベルなどの追加の監督なしに、局所的な特徴の崩壊を防ぐ。複数のエンコーダとデータセットをまたいだ実験により認識と画像-テキストのアライメントが向上し、一方、表現解析では、完全な機器-機器間相互作用領域とより空間的コヒーレントな特徴よりも、より強い基底が示される。

関連論文リスト

IMPACT: Attention Is the Interaction Map for Scalable Interaction-Aware World Model Training [18.292611164084537]
IMPACTは,事前誘導と目標設定を併用したスケーラブルなインタラクション対応フレームワークである。 IMPACTは、対応するMSE訓練ベースラインを一貫して上回り、相互作用の忠実度、物理的妥当性、視覚的品質を改善している。
論文参考訳（メタデータ） (2026-08-31T18:00:36Z)
SurgAM: Surgical Affordance Map Prediction with Multimodal Feature Fusion for Robot Autonomy [24.007662271891277]
本稿では,視覚的データから基本的な手術行動のための動作可能な領域を識別する手術手当予測手法を提案する。自己監督型視覚変換器エンコーダの相補的強度を利用する適応型特徴融合フレームワークを提案する。シーン誘導型アテンションデコーダを提案する。
論文参考訳（メタデータ） (2026-07-05T16:12:01Z)
TRUST: Efficient Abdominal Trauma Recognition via Image-to-Ultrasound-Video Transfer Learning [9.697220089288564]
本稿では,超音波映像の信頼性を高めるために,微細時間変動を明示的にモデル化するスキャン対応PEIVTLフレームワークを提案する。社内の超音波外傷データセットの実験では、TRUSTは最先端の手法よりも9.63%優れ、計算効率が優れていることが示されている。
論文参考訳（メタデータ） (2026-06-26T07:06:34Z)
Making Foresight Actionable: Repurposing Representation Alignment in World Action Models [57.23863557252883]
World Action Models (WAMs)は、ビデオ生成モデルを使用して将来のシーンの進化をモデル化することで、ロボット操作のための有望なルートを提供する。目に見える未来を生み出すことは必ずしも正確な行動の抽出を保証するとは限らない本稿では,Action-Grounded Representation Alignmentの目的であるAGRAを提案する。
論文参考訳（メタデータ） (2026-06-10T15:31:25Z)
TrajPred: Trajectory-Conditioned Joint Embedding Prediction for Surgical Instrument-Tissue Interaction Recognition in Vision-Language Models [13.912437629529693]
時間的動きの手がかりを組み込むための楽器軌道を符号化するフレームワークであるTrajPredを提案する。また,楽器間相互作用認識タスクへのスムーズな適応を実現するために,プロンプトチューニングと動詞言い換え手法を取り入れた。
論文参考訳（メタデータ） (2026-03-07T02:44:57Z)
Revisiting Multi-Task Visual Representation Learning [52.93947931352643]
本稿では,マルチタスク・ビジュアル事前学習フレームワークであるMTVを紹介する。我々は、高容量の「エキスパート」モデルを利用して、高密度で構造化された擬似ラベルを大規模に合成する。以上の結果から,MTV が "Best-of-both-worlds" のパフォーマンスを達成できることが示唆された。
論文参考訳（メタデータ） (2026-01-20T11:59:19Z)
GLip: A Global-Local Integrated Progressive Framework for Robust Visual Speech Recognition [72.29071664964633]
我々は、ロバストな視覚音声認識(VSR)のために設計されたグローバルローカル統合プログレッシブフレームワークGLipを提案する。 GLipは、グローバルな視覚的特徴とローカルな視覚的特徴の両方を、容易にアクセス可能な音声視覚データを用いて対応する音声音声単位に整合させることを学ぶ。第2段階では、ローカル機能を関連するグローバルコンテキストと動的に統合するコンテキスト拡張モジュール(CEM)を導入します。
論文参考訳（メタデータ） (2025-09-19T14:36:01Z)
Emulating Human-like Adaptive Vision for Efficient and Flexible Machine Visual Perception [93.20637973889434]
本稿では、"パッシブ"から"アクティブ"ビジョンモデルへのパラダイムシフトを促進するための一般的なフレームワークであるAdaptiveNNを紹介する。 AdaptiveNNは、視覚知覚を粗い連続的な意思決定プロセスとして定式化する。アダプティブNNは、大規模な視覚認識、きめ細かい識別、視覚検索、実際の運転と医療シナリオからの画像処理を含む、9つのタスクにまたがる17のベンチマークで評価する。
論文参考訳（メタデータ） (2025-09-18T18:25:43Z)
MASA: Motion-aware Masked Autoencoder with Semantic Alignment for Sign Language Recognition [94.56755080185732]
本研究では,リッチモーションキューとグローバルセマンティック情報を統合したセマンティックアライメント(MASA)を用いたMotion-Awareマスク付きオートエンコーダを提案する。我々のフレームワークは,包括的手話表現のための局所的な動きの手がかりとグローバルな意味的特徴を同時に学習することができる。
論文参考訳（メタデータ） (2024-05-31T08:06:05Z)
Domain Adaptive Robotic Gesture Recognition with Unsupervised Kinematic-Visual Data Alignment [60.31418655784291]
本稿では,マルチモダリティ知識,すなわちキネマティックデータとビジュアルデータを同時にシミュレータから実ロボットに伝達できる,教師なしドメイン適応フレームワークを提案する。ビデオの時間的手がかりと、ジェスチャー認識に対するマルチモーダル固有の相関を用いて、トランスファー可能な機能を強化したドメインギャップを修復する。その結果, 本手法は, ACCでは最大12.91%, F1scoreでは20.16%と, 実際のロボットではアノテーションを使わずに性能を回復する。
論文参考訳（メタデータ） (2021-03-06T09:10:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。