論文の概要: EndoUIC: Promptable Diffusion Transformer for Unified Illumination Correction in Capsule Endoscopy

• arxiv url: http://arxiv.org/abs/2406.13705v1
• Date: Wed, 19 Jun 2024 16:58:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 18:54:50.804015
• Title: EndoUIC: Promptable Diffusion Transformer for Unified Illumination Correction in Capsule Endoscopy
• Title（参考訳）: カプセル内視鏡における統一照明補正用プロンプブル拡散変圧器
• Authors: Long Bai, Qiaozhi Tan, Tong Chen, Wan Jun Nah, Yanheng Li, Zhicheng He, Sishen Yuan, Zhen Chen, Jinlin Wu, Mobarakol Islam, Zhen Li, Hongbin Liu, Hongliang Ren,
• Abstract要約: 本稿では,DFTモデルを用いたWCE統合照明補正ソリューションであるEndoUICを紹介する。 我々の研究では、照明プロンプトモジュールは、異なる露光レベルに適応し、ターゲット画像の強調を行うためにモデルをナビゲートする。 本稿では,専門写真家が注釈を付した地上構造と劣化画像のペアを含む,新しいカプセル・内視鏡露光補正データセットを提案する。
• 参考スコア（独自算出の注目度）: 17.075996698542035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wireless Capsule Endoscopy (WCE) is highly valued for its non-invasive and painless approach, though its effectiveness is compromised by uneven illumination from hardware constraints and complex internal dynamics, leading to overexposed or underexposed images. While researchers have discussed the challenges of low-light enhancement in WCE, the issue of correcting for different exposure levels remains underexplored. To tackle this, we introduce EndoUIC, a WCE unified illumination correction solution using an end-to-end promptable diffusion transformer (DFT) model. In our work, the illumination prompt module shall navigate the model to adapt to different exposure levels and perform targeted image enhancement, in which the Adaptive Prompt Integration (API) and Global Prompt Scanner (GPS) modules shall further boost the concurrent representation learning between the prompt parameters and features. Besides, the U-shaped restoration DFT model shall capture the long-range dependencies and contextual information for unified illumination restoration. Moreover, we present a novel Capsule-endoscopy Exposure Correction (CEC) dataset, including ground-truth and corrupted image pairs annotated by expert photographers. Extensive experiments against a variety of state-of-the-art (SOTA) methods on four datasets showcase the effectiveness of our proposed method and components in WCE illumination restoration, and the additional downstream experiments further demonstrate its utility for clinical diagnosis and surgical assistance.
• Abstract（参考訳）: 無線カプセル内視鏡(WCE)は、非侵襲的で痛みのないアプローチで高く評価されているが、その効果は、ハードウェアの制約や複雑な内部ダイナミクスによる不均一な照明によって損なわれ、過剰に露光または過大に露光する画像に繋がる。 研究者は、WCEの低照度化の課題について論じてきたが、異なる露光レベルの補正の問題は未解決のままである。 そこで本研究では,エンド・ツー・エンド・エンド・エンド・エンド・プロンサブル・ディスペンサ・トランスフォーマ(DFT)モデルを用いたWCE統合照明補正ソリューションであるEndoUICを紹介する。 本研究では, 照明プロンプトモジュールが, 異なる露出レベルに適応し, ターゲット画像の強調を行うため, 適応型プロンプト統合 (API) とグローバル型プロンプトスキャナ (GPS) モジュールが, プロンプトパラメータと特徴との間の同時表現学習をさらに促進する。 さらに、U字型復元DFTモデルは、統一照明復元のための長距離依存関係とコンテキスト情報をキャプチャする。 さらに,専門写真家が注釈を付した地上構造と劣化画像のペアを含む,新しいカプセル・内視鏡露光補正(CEC)データセットを提案する。 4つのデータセットに対するSOTA(State-of-the-art)法に対する広範囲な実験により,WCE照明修復における提案手法の有効性が示された。

関連論文リスト

• LighTDiff: Surgical Endoscopic Image Low-Light Enhancement with T-Diffusion [23.729378821117123]
  Denoising Diffusion Probabilistic Model (DDPM) は、医療分野での低照度画像強調を約束する。 DDPMは計算的に要求され、遅いため、医療応用は制限されている。 我々はLighTDiffと呼ばれる軽量DDPMを提案し、低解像度画像を用いてグローバルな構造情報をキャプチャする。
  論文  参考訳（メタデータ） (2024-05-17T05:31:19Z)
• Reti-Diff: Illumination Degradation Image Restoration with Retinex-based Latent Diffusion Model [59.08821399652483]
  照明劣化画像復元(IDIR)技術は、劣化した画像の視認性を改善し、劣化した照明の悪影響を軽減することを目的としている。 これらのアルゴリズムのうち、拡散モデル(DM)に基づく手法は期待できる性能を示しているが、画像レベルの分布を予測する際に、重い計算要求や画素の不一致の問題に悩まされることが多い。 我々は、コンパクトな潜在空間内でDMを活用して、簡潔な指導先を生成することを提案し、IDIRタスクのためのReti-Diffと呼ばれる新しいソリューションを提案する。 Reti-Diff は Retinex-based Latent DM (RLDM) と Retinex-Guided Transformer (RG) の2つの鍵成分からなる。
  論文  参考訳（メタデータ） (2023-11-20T09:55:06Z)
• Improving Lens Flare Removal with General Purpose Pipeline and Multiple Light Sources Recovery [69.71080926778413]
  フレアアーティファクトは、画像の視覚的品質と下流のコンピュータビジョンタスクに影響を与える。 現在の方法では、画像信号処理パイプラインにおける自動露光やトーンマッピングは考慮されていない。 本稿では、ISPを再検討し、より信頼性の高い光源回収戦略を設計することで、レンズフレア除去性能を向上させるソリューションを提案する。
  論文  参考訳（メタデータ） (2023-08-31T04:58:17Z)
• Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
  本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。 このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。 本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-10T07:53:06Z)
• LLCaps: Learning to Illuminate Low-Light Capsule Endoscopy with Curved Wavelet Attention and Reverse Diffusion [24.560417980602928]
  ワイヤレスカプセル内視鏡(Wireless capsule endoscopy, WCE)は、消化器疾患の無痛・非侵襲診断ツールである。 医学領域における深層学習に基づく低照度画像強調(LLIE)は徐々に研究者を惹きつける。 マルチスケール畳み込みニューラルネットワーク(CNN)と逆拡散プロセスに基づく WCE LLIE フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-05T17:23:42Z)
• This Intestine Does Not Exist: Multiscale Residual Variational Autoencoder for Realistic Wireless Capsule Endoscopy Image Generation [7.430724826764835]
  新規な変分オートエンコーダアーキテクチャ,すなわち "This Intestine Don Not Exist" (TIDE) を提案する。 提案アーキテクチャは,マルチスケールな特徴抽出畳み込みブロックと残差接続を備え,高品質で多様なデータセットの生成を可能にする。 利用可能なデータセットの増大を指向した現在のアプローチとは対照的に,本研究では,TIDEを用いて実際のWCEデータセットを完全に置換できることを実証する。
  論文  参考訳（メタデータ） (2023-02-04T11:49:38Z)
• Multi-Scale Structural-aware Exposure Correction for Endoscopic Imaging [0.879504058268139]
  このコントリビューションはLMSPECの目的関数の拡張であり、これはもともと自然のシーンからの画像を強化するために導入された方法である。 ここでは、内視鏡画像における露出補正と構造情報の保存に使用される。 Endo4IEデータセット上でテストされ、提案された実装は、オーバーエクスプロイトされた画像に対してそれぞれ4.40%と4.21%のSSIM増加を得た。
  論文  参考訳（メタデータ） (2022-10-26T21:04:54Z)
• A Novel Hybrid Endoscopic Dataset for Evaluating Machine Learning-based Photometric Image Enhancement Models [0.9236074230806579]
  本研究は, 生成逆数的手法により生成される新しい合成データ集合を導入する。 また、過度の露光および過度の露光条件において、浅いベースと深層学習に基づく画像強調法の両方を探索する。
  論文  参考訳（メタデータ） (2022-07-06T01:47:17Z)
• OADAT: Experimental and Synthetic Clinical Optoacoustic Data for Standardized Image Processing [62.993663757843464]
  オプトアコースティック(OA)イメージングは、ナノ秒レーザーパルスによる生体組織の励起と、光吸収による熱弾性膨張によって発生する超音波の検出に基づいている。 OAイメージングは、深部組織における豊富な光学コントラストと高分解能の強力な組み合わせを特徴としている。 臨床環境でのOAの幅広い応用を促進するために、異なるタイプの実験的なセットアップと関連する処理手法で生成される標準化データセットは存在しない。
  論文  参考訳（メタデータ） (2022-06-17T08:11:26Z)
• NuI-Go: Recursive Non-Local Encoder-Decoder Network for Retinal Image Non-Uniform Illumination Removal [96.12120000492962]
  網膜画像の画質は、眼の病変や不完全な画像処理のために臨床的に不満足であることが多い。 網膜画像における最も難しい品質劣化問題の1つは、一様でない照明である。 我々はNuI-Goと呼ばれる網膜画像に対する均一でない照明除去ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-08-07T04:31:33Z)
• Unsupervised Low-light Image Enhancement with Decoupled Networks [103.74355338972123]
  我々は、実世界の低照度画像を教師なしで拡張する2段階のGANベースのフレームワークを学習する。 提案手法は,照度向上と雑音低減の両面から,最先端の教師なし画像強調法より優れる。
  論文  参考訳（メタデータ） (2020-05-06T13:37:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。