論文の概要: A Domain-specific Perceptual Metric via Contrastive Self-supervised Representation: Applications on Natural and Medical Images

• arxiv url: http://arxiv.org/abs/2212.01577v1
• Date: Sat, 3 Dec 2022 08:55:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 19:19:41.465678
• Title: A Domain-specific Perceptual Metric via Contrastive Self-supervised Representation: Applications on Natural and Medical Images
• Title（参考訳）: コントラスト的自己監督的表現によるドメイン固有の知覚基準:自然・医用画像への応用
• Authors: Hongwei Bran Li, Chinmay Prabhakar, Suprosanna Shit, Johannes Paetzold, Tamaz Amiranashvili, Jianguo Zhang, Daniel Rueckert, Juan Eugenio Iglesias, Benedikt Wiestler and Bjoern Menze
• Abstract要約: 2つの画像の知覚的類似性を定量化することは、低レベルのコンピュータビジョンにおける長年の問題である。 最近のコントラスト的自己監督表現(CSR)が救助にやってくる可能性がある。
• 参考スコア（独自算出の注目度）: 8.769705957207576
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Quantifying the perceptual similarity of two images is a long-standing problem in low-level computer vision. The natural image domain commonly relies on supervised learning, e.g., a pre-trained VGG, to obtain a latent representation. However, due to domain shift, pre-trained models from the natural image domain might not apply to other image domains, such as medical imaging. Notably, in medical imaging, evaluating the perceptual similarity is exclusively performed by specialists trained extensively in diverse medical fields. Thus, medical imaging remains devoid of task-specific, objective perceptual measures. This work answers the question: Is it necessary to rely on supervised learning to obtain an effective representation that could measure perceptual similarity, or is self-supervision sufficient? To understand whether recent contrastive self-supervised representation (CSR) may come to the rescue, we start with natural images and systematically evaluate CSR as a metric across numerous contemporary architectures and tasks and compare them with existing methods. We find that in the natural image domain, CSR behaves on par with the supervised one on several perceptual tests as a metric, and in the medical domain, CSR better quantifies perceptual similarity concerning the experts' ratings. We also demonstrate that CSR can significantly improve image quality in two image synthesis tasks. Finally, our extensive results suggest that perceptuality is an emergent property of CSR, which can be adapted to many image domains without requiring annotations.
• Abstract（参考訳）: 2つの画像の知覚的類似性を定量化することは、低レベルのコンピュータビジョンにおける長年の問題である。 自然画像領域は一般に教師付き学習(例えば事前訓練されたVGG)に依存して潜在表現を得る。 しかし、ドメインシフトのため、自然画像領域からの事前訓練されたモデルは、医用画像のような他の画像領域には適用されない可能性がある。 特に、医療画像では、知覚的類似性の評価は、様々な医療分野で広く訓練された専門家によってのみ行われる。 したがって、医療画像はタスク固有の客観的な知覚手段を欠いている。 知覚的類似性を測定する効果的な表現を得るためには、教師付き学習に頼る必要があるか、あるいは自己監督が十分か? 最近のコントラスト型自己監督表現(CSR)が救世主となるかどうかを理解するため、自然画像から始まり、CSRを多くの現代建築やタスクのメトリクスとして体系的に評価し、それらを既存の手法と比較する。 自然画像領域では、CSRはいくつかの知覚的テストにおいて指標として監督されたものと同等の振る舞いを示し、医療領域では、CSRは専門家の評価に関する知覚的類似性をより正確に測定する。 また、csrは2つの画像合成タスクにおいて画像品質を著しく改善できることを実証する。 最後に,認識性はCSRの創発的特性であり,アノテーションを必要とせずに多くの画像領域に適応できることを示す。

関連論文リスト

• When Does Perceptual Alignment Benefit Vision Representations? [76.32336818860965]
  視覚モデル表現と人間の知覚的判断との整合がユーザビリティに与える影響について検討する。 モデルと知覚的判断を一致させることで、多くの下流タスクで元のバックボーンを改善する表現が得られることがわかった。 その結果,人間の知覚的知識に関する帰納バイアスを視覚モデルに注入することは,より良い表現に寄与することが示唆された。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)
• Autoregressive Sequence Modeling for 3D Medical Image Representation [48.706230961589924]
  本稿では, 自己回帰シーケンス事前学習フレームワークを用いて, 3次元医用画像表現を学習するための先駆的手法を提案する。 我々は,空間的,コントラスト的,意味的相関に基づく様々な3次元医用画像にアプローチし,トークンシーケンス内の相互接続された視覚トークンとして扱う。
  論文  参考訳（メタデータ） (2024-09-13T10:19:10Z)
• Understanding differences in applying DETR to natural and medical images [16.200340490559338]
  トランスフォーマーベースの検出器は、自然画像を用いたコンピュータビジョンタスクで成功している。 医用画像データには、非常に大きな画像サイズ、興味の少ない領域の小さい領域、微妙な違いによってのみ区別できるオブジェクトクラスなど、固有の課題がある。 本研究は, 検診用マンモグラフィーデータセットに適用した場合に, これらのトランスフォーマーに基づく設計選択の適用性を評価するものである。
  論文  参考訳（メタデータ） (2024-05-27T22:06:42Z)
• A domain adaptive deep learning solution for scanpath prediction of paintings [66.46953851227454]
  本稿では,ある絵画の視覚的体験における視聴者の眼球運動分析に焦点を当てた。 我々は、人間の視覚的注意を予測するための新しいアプローチを導入し、人間の認知機能に影響を及ぼす。 提案した新しいアーキテクチャは、画像を取り込んでスキャンパスを返す。
  論文  参考訳（メタデータ） (2022-09-22T22:27:08Z)
• Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
  視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。 事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。 実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-19T09:43:19Z)
• Local Spatiotemporal Representation Learning for Longitudinally-consistent Neuroimage Analysis [7.568469725821069]
  本稿では,長手画像に基づいて訓練された画像から画像への局所的・多スケールの時間的表現学習手法を提案する。 微調整中、オブジェクト内相関を利用するために驚くほど単純な自己教師付きセグメンテーション整合規則化を提案する。 これらの改善は、長手神経変性成人と発達期脳MRIの両方で示され、より高いパフォーマンスと長手整合性が得られる。
  論文  参考訳（メタデータ） (2022-06-09T05:17:00Z)
• A Principled Design of Image Representation: Towards Forensic Tasks [75.40968680537544]
  本稿では, 理論, 実装, 応用の観点から, 法科学指向の画像表現を別の問題として検討する。 理論レベルでは、Dense Invariant Representation (DIR)と呼ばれる、数学的保証を伴う安定した記述を特徴とする、新しい法医学の表現フレームワークを提案する。 本稿では, ドメインパターンの検出とマッチング実験について, 最先端の記述子との比較結果を提供する。
  論文  参考訳（メタデータ） (2022-03-02T07:46:52Z)
• Lesion-based Contrastive Learning for Diabetic Retinopathy Grading from Fundus Images [2.498907460918493]
  糖尿病網膜症自動評価のための自己教師型フレームワーク,すなわち病変に基づくコントラスト学習を提案する。 提案フレームワークは,リニア評価と転送容量評価の両方の観点から,DRグレーディングを際立たせる。
  論文  参考訳（メタデータ） (2021-07-17T16:30:30Z)
• Contrastive Learning of Medical Visual Representations from Paired Images and Text [38.91117443316013]
  本研究では,自然発生した記述的ペアリングテキストを活用することで,医用視覚表現を学習するための教師なし戦略であるConVIRTを提案する。 この2つのモダリティ間の双方向のコントラスト的目的を通じて、ペア化されたテキストデータを用いて医療画像エンコーダを事前訓練する手法は、ドメインに依存しないため、追加の専門家による入力は不要である。
  論文  参考訳（メタデータ） (2020-10-02T02:10:18Z)
• Unsupervised Bidirectional Cross-Modality Adaptation via Deeply Synergistic Image and Feature Alignment for Medical Image Segmentation [73.84166499988443]
  我々は、Synergistic Image and Feature Alignment (SIFA)と名付けられた新しい教師なしドメイン適応フレームワークを提案する。 提案するSIFAは、画像と特徴の両方の観点から、ドメインの相乗的アライメントを行う。 2つの異なるタスクに対する実験結果から,SIFA法は未ラベル対象画像のセグメンテーション性能を向上させるのに有効であることが示された。
  論文  参考訳（メタデータ） (2020-02-06T13:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。