論文の概要: TTTFusion: A Test-Time Training-Based Strategy for Multimodal Medical Image Fusion in Surgical Robots
- arxiv url: http://arxiv.org/abs/2504.20362v1
- Date: Tue, 29 Apr 2025 02:00:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.720963
- Title: TTTFusion: A Test-Time Training-Based Strategy for Multimodal Medical Image Fusion in Surgical Robots
- Title(参考訳): TTTFusion:手術ロボットにおけるマルチモーダル医用画像融合のためのテストタイムトレーニングベース戦略
- Authors: Qinhua Xie, Hao Tang,
- Abstract要約: TTTFusionはテストタイムトレーニングに基づく画像融合戦略である。
推論中にモデルパラメータを動的に調整し、マルチモーダル医療画像を効率的に融合する。
これは特に微細な特徴抽出とエッジ保存において、核融合品質を著しく向上させる。
- 参考スコア(独自算出の注目度): 7.250878248686215
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the increasing use of surgical robots in clinical practice, enhancing their ability to process multimodal medical images has become a key research challenge. Although traditional medical image fusion methods have made progress in improving fusion accuracy, they still face significant challenges in real-time performance, fine-grained feature extraction, and edge preservation.In this paper, we introduce TTTFusion, a Test-Time Training (TTT)-based image fusion strategy that dynamically adjusts model parameters during inference to efficiently fuse multimodal medical images. By adapting the model during the test phase, our method optimizes the parameters based on the input image data, leading to improved accuracy and better detail preservation in the fusion results.Experimental results demonstrate that TTTFusion significantly enhances the fusion quality of multimodal images compared to traditional fusion methods, particularly in fine-grained feature extraction and edge preservation. This approach not only improves image fusion accuracy but also offers a novel technical solution for real-time image processing in surgical robots.
- Abstract(参考訳): 臨床実習における外科用ロボットの使用の増加に伴い,マルチモーダル医療画像の処理能力の向上が重要な研究課題となっている。
本稿では,TTT(Test-Time Training)をベースとした画像融合戦略であるTTFusionを導入し,モデルパラメータを動的に調整し,マルチモーダル医用画像の効率よく融合させる手法を提案する。
実験により,TTTFusionは従来の融合法,特に微細な特徴抽出やエッジ保存法と比較して,マルチモーダル画像の融合品質を著しく向上させることが示された。
このアプローチは画像融合精度を向上するだけでなく、手術ロボットのリアルタイム画像処理のための新しい技術ソリューションを提供する。
関連論文リスト
- Edge-Enhanced Dilated Residual Attention Network for Multimodal Medical Image Fusion [13.029564509505676]
マルチモーダル・メディカル・イメージ・フュージョン(Multimodal Medical Image fusion)は、様々な画像モダリティからの相補的な情報を統一的な表現に結合する重要なタスクである。
深層学習手法は融合性能が著しく向上しているが、既存のCNNベースの手法では、微細なマルチスケールとエッジの特徴を捉えるには不十分である。
マルチスケール機能抽出のためのDilated Residual Attention Network Moduleを導入することで,これらの制約に対処する新しいCNNアーキテクチャを提案する。
論文 参考訳(メタデータ) (2024-11-18T18:11:53Z) - Random Token Fusion for Multi-View Medical Diagnosis [2.3458652461211935]
多視点医療データセットでは、ディープラーニングモデルは診断性能を改善するために、異なる画像の観点から情報を融合することが多い。
既存のアプローチは過度に適合する傾向があり、ビュー固有の機能に大きく依存する。
本研究では,マルチビュー医療用トランスを用いた画像解析技術を提案する。
論文 参考訳(メタデータ) (2024-10-21T10:19:45Z) - Simultaneous Tri-Modal Medical Image Fusion and Super-Resolution using Conditional Diffusion Model [2.507050016527729]
トリモーダル医療画像融合は、病気の形状、位置、生物学的活動をより包括的に見ることができる。
画像装置の限界や患者の安全への配慮により、医療画像の品質は制限されることが多い。
画像の解像度を向上し、マルチモーダル情報を統合できる技術が緊急に必要である。
論文 参考訳(メタデータ) (2024-04-26T12:13:41Z) - A New Multimodal Medical Image Fusion based on Laplacian Autoencoder
with Channel Attention [3.1531360678320897]
ディープラーニングモデルは、非常に堅牢で正確なパフォーマンスでエンドツーエンドの画像融合を実現した。
ほとんどのDLベースの融合モデルは、学習可能なパラメータや計算量を最小限に抑えるために、入力画像上でダウンサンプリングを行う。
本稿では,ラープラシア・ガウス統合とアテンションプールを融合したマルチモーダル医用画像融合モデルを提案する。
論文 参考訳(メタデータ) (2023-10-18T11:29:53Z) - On Sensitivity and Robustness of Normalization Schemes to Input
Distribution Shifts in Automatic MR Image Diagnosis [58.634791552376235]
深層学習(DL)モデルは、再構成画像を入力として、複数の疾患の診断において最先端のパフォーマンスを達成した。
DLモデルは、トレーニングとテストフェーズ間の入力データ分布の変化につながるため、さまざまなアーティファクトに敏感である。
本稿では,グループ正規化やレイヤ正規化といった他の正規化手法を用いて,画像のさまざまなアーチファクトに対して,モデル性能にロバスト性を注入することを提案する。
論文 参考訳(メタデータ) (2023-06-23T03:09:03Z) - A Task-guided, Implicitly-searched and Meta-initialized Deep Model for
Image Fusion [69.10255211811007]
本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。
具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。
このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
論文 参考訳(メタデータ) (2023-05-25T08:54:08Z) - Equivariant Multi-Modality Image Fusion [124.11300001864579]
エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。
我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。
実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
論文 参考訳(メタデータ) (2023-05-19T05:50:24Z) - Bridging Synthetic and Real Images: a Transferable and Multiple
Consistency aided Fundus Image Enhancement Framework [61.74188977009786]
画像強調とドメイン適応を同時に行うために,エンドツーエンドの教師支援フレームワークを提案する。
また,教師ネットワークと学生ネットワークのバックボーンとして,マルチステージ型マルチアテンション・ガイド・エンハンスメント・ネットワーク(MAGE-Net)を提案する。
論文 参考訳(メタデータ) (2023-02-23T06:16:15Z) - MedSegDiff-V2: Diffusion based Medical Image Segmentation with
Transformer [53.575573940055335]
我々は、MedSegDiff-V2と呼ばれるトランスフォーマーベースの拡散フレームワークを提案する。
画像の異なる20種類の画像分割作業において,その有効性を検証する。
論文 参考訳(メタデータ) (2023-01-19T03:42:36Z) - Solving Inverse Problems in Medical Imaging with Score-Based Generative
Models [87.48867245544106]
CT(Computed Tomography)とMRI(Magnetic Resonance Imaging)における医用画像の再構成は重要な逆問題である
機械学習に基づく既存のソリューションは通常、測定結果を医療画像に直接マッピングするモデルを訓練する。
本稿では,最近導入されたスコアベース生成モデルを利用して,逆問題解決のための教師なし手法を提案する。
論文 参考訳(メタデータ) (2021-11-15T05:41:12Z) - Coupled Feature Learning for Multimodal Medical Image Fusion [42.23662451234756]
マルチモーダル画像融合は、取得した画像と異なるセンサーの関連情報を組み合わせることを目指しています。
本稿では,結合辞書学習に基づく新しいマルチモーダル画像融合法を提案する。
論文 参考訳(メタデータ) (2021-02-17T09:13:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。