論文の概要: Foveation for Segmentation of Ultra-High Resolution Images
- arxiv url: http://arxiv.org/abs/2007.15124v2
- Date: Fri, 31 Jul 2020 16:53:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-05 20:08:44.447205
- Title: Foveation for Segmentation of Ultra-High Resolution Images
- Title(参考訳): 超高解像度画像のセグメンテーション
- Authors: Chen Jin, Ryutaro Tanno, Moucheng Xu, Thomy Mertzanidou, Daniel C.
Alexander
- Abstract要約: 本稿では、入力パッチの適切な設定(FoV/解像度トレードオフ)を適応的に選択し、下流セグメンテーションモデルにフィードする、学習可能なデータローダであるFoveationモジュールを紹介する。
固定されたFoV/解像度トレードオフのパッチでトレーニングした場合よりも,Foveationモジュールはセグメンテーション性能を一貫して向上することを示す。
- 参考スコア(独自算出の注目度): 8.037287701125832
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Segmentation of ultra-high resolution images is challenging because of their
enormous size, consisting of millions or even billions of pixels. Typical
solutions include dividing input images into patches of fixed size and/or
down-sampling to meet memory constraints. Such operations incur information
loss in the field-of-view (FoV) i.e., spatial coverage and the image
resolution. The impact on segmentation performance is, however, as yet
understudied. In this work, we start with a motivational experiment which
demonstrates that the trade-off between FoV and resolution affects the
segmentation performance on ultra-high resolution images---and furthermore, its
influence also varies spatially according to the local patterns in different
areas. We then introduce foveation module, a learnable "dataloader" which, for
a given ultra-high resolution image, adaptively chooses the appropriate
configuration (FoV/resolution trade-off) of the input patch to feed to the
downstream segmentation model at each spatial location of the image. The
foveation module is jointly trained with the segmentation network to maximise
the task performance. We demonstrate on three publicly available
high-resolution image datasets that the foveation module consistently improves
segmentation performance over the cases trained with patches of fixed
FoV/resolution trade-off. Our approach achieves the SoTA performance on the
DeepGlobe aerial image dataset. On the Gleason2019 histopathology dataset, our
model achieves better segmentation accuracy for the two most clinically
important and ambiguous classes (Gleason Grade 3 and 4) than the top performers
in the challenge by 13.1% and 7.5%, and improves on the average performance of
6 human experts by 6.5% and 7.5%. Our code and trained models are available at
$\text{https://github.com/lxasqjc/Foveation-Segmentation}$.
- Abstract(参考訳): 超高解像度画像のセグメンテーションは、その巨大なサイズ、数百万から数十億ピクセルからなるため、難しい。
典型的なソリューションとしては、入力イメージを固定サイズのパッチに分割したり、メモリ制約を満たすためにダウンサンプリングしたりする。
このような操作は、視野(FoV)、すなわち空間カバレッジと画像解像度において情報損失を引き起こす。
しかし、セグメンテーションのパフォーマンスへの影響はまだ検討されていない。
本研究では,fovと解像度のトレードオフが超高解像度画像のセグメンテーション性能に影響を及ぼすことを示すモチベーション実験から始める。
次に、与えられた超高解像度画像に対して、入力パッチの適切な構成(FoV/解像度トレードオフ)を適応的に選択し、画像の各空間位置で下流セグメンテーションモデルにフィードする、学習可能なデータローダであるFoveationモジュールを導入する。
フェーベーションモジュールは、タスク性能を最大化するためにセグメンテーションネットワークと共同で訓練される。
我々は、FoV/解像度トレードオフのパッチでトレーニングされた場合よりも、Foveationモジュールがセグメンテーション性能を一貫して向上することを示す3つの公開高解像度画像データセットを実証する。
本手法は,deepglobe aerial image dataset における sota 性能を実現する。
Gleason2019 の病理組織学的データセットでは,最も臨床的に重要で曖昧な2つのクラス (Gleason Grade 3 と 4 ) のセグメンテーション精度が13.1%,7.5%向上し,6 名の人間専門家の平均性能を6.5%,7.5%向上させた。
私たちのコードとトレーニングされたモデルは、$\text{https://github.com/lxasqjc/Foveation-Segmentation}$で利用可能です。
関連論文リスト
- Self-supervised Semantic Segmentation: Consistency over Transformation [3.485615723221064]
Inception Large Kernel Attention (I-LKA) モジュールをベースとしたロバストなフレームワークを統合した新しい自己教師型アルゴリズム textbfS$3$-Net を提案する。
我々は、変形可能な畳み込みを積分成分として利用し、優れた物体境界定義のための歪み変形を効果的に捕捉し、デライン化する。
皮膚病変および肺臓器の分節タスクに関する実験結果から,SOTA法と比較して,本手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-08-31T21:28:46Z) - Scale-aware Super-resolution Network with Dual Affinity Learning for
Lesion Segmentation from Medical Images [50.76668288066681]
低解像度医用画像から様々な大きさの病変を適応的に分割する,スケールアウェアな超解像ネットワークを提案する。
提案するネットワークは,他の最先端手法と比較して一貫した改善を実現した。
論文 参考訳(メタデータ) (2023-05-30T14:25:55Z) - Does image resolution impact chest X-ray based fine-grained
Tuberculosis-consistent lesion segmentation? [3.3086274755158325]
ディープラーニングモデルは、計算資源の不足を理由に、画像解像度の低下を訓練していると伝えられている。
本研究では,インセプションV3ベースのUNetモデルを様々な画像/マスク解像度を用いて学習することで得られる性能向上について検討した。
論文 参考訳(メタデータ) (2023-01-10T15:34:39Z) - ResFormer: Scaling ViTs with Multi-Resolution Training [100.01406895070693]
私たちはResFormerを紹介します。ResFormerは、広く、ほとんど目に見えない、テストの解像度でパフォーマンスを改善するフレームワークです。
特にResFormerは、異なる解像度の再現されたイメージを実行し、さまざまなスケールでインタラクティブな情報をエンゲージするスケール一貫性の損失を強制する。
さらに、ResFormerは柔軟性があり、セマンティックセグメンテーション、オブジェクト検出、ビデオアクション認識に容易に拡張できることを示す。
論文 参考訳(メタデータ) (2022-12-01T18:57:20Z) - High-Quality Entity Segmentation [110.55724145851725]
CropFormerは高解像度画像におけるインスタンスレベルのセグメンテーションの難易度に対処するために設計されている。
よりきめ細かい画像とフルイメージを提供する高解像度の画像作物を融合することで、マスク予測を改善する。
CropFormerでは、難易度の高いエンティティセグメンテーションタスクで1.9ドルという大きなAP利益を達成しています。
論文 参考訳(メタデータ) (2022-11-10T18:58:22Z) - Semantically Accurate Super-Resolution Generative Adversarial Networks [2.0454959820861727]
セマンティックセグメンテーションの性能を高めるために,新しいアーキテクチャとドメイン固有の特徴損失を提案する。
提案手法は,全ての予測クラスにおいて,知覚的画像品質と定量的セグメンテーションの精度を向上することを示す。
この研究は、画像ベースとタスク固有の損失を共同で検討することにより、両者のパフォーマンスを向上し、空中画像のセマンティック・アウェア・スーパーレゾリューションにおける最先端の進歩を実証する。
論文 参考訳(メタデータ) (2022-05-17T23:05:27Z) - AF$_2$: Adaptive Focus Framework for Aerial Imagery Segmentation [86.44683367028914]
航空画像のセグメンテーションにはいくつかの独特な課題があり、中でも最も重要なものは前景と背景のアンバランスにある。
本稿では,階層的なセグメンテーション手法を採用し,マルチスケール表現を適応的に活用するAdaptive Focus Framework (AF$)を提案する。
AF$は、広く使われている3つの航空ベンチマークの精度を大幅に改善した。
論文 参考訳(メタデータ) (2022-02-18T10:14:45Z) - High Quality Segmentation for Ultra High-resolution Images [72.97958314291648]
超高分解能セグメンテーション精錬作業のための連続精細モデルを提案する。
提案手法は画像分割精細化において高速かつ効果的である。
論文 参考訳(メタデータ) (2021-11-29T11:53:06Z) - CascadePSP: Toward Class-Agnostic and Very High-Resolution Segmentation
via Global and Local Refinement [0.0]
最先端のセマンティックセグメンテーション手法は、固定解像度範囲内の画像にのみ訓練された。
本稿では,高分解能トレーニングデータを用いることなく,高分解能セグメンテーション問題に対処する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-05-06T01:38:03Z) - Gated Fusion Network for Degraded Image Super Resolution [78.67168802945069]
本稿では,基本特徴と回復特徴を別々に抽出する二分岐畳み込みニューラルネットワークを提案する。
特徴抽出ステップを2つのタスク非依存ストリームに分解することで、デュアルブランチモデルがトレーニングプロセスを容易にすることができる。
論文 参考訳(メタデータ) (2020-03-02T13:28:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。