論文の概要: Iterative Patch Selection for High-Resolution Image Recognition

• arxiv url: http://arxiv.org/abs/2210.13007v1
• Date: Mon, 24 Oct 2022 07:55:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 15:32:23.090435
• Title: Iterative Patch Selection for High-Resolution Image Recognition
• Title（参考訳）: 高分解能画像認識のための反復パッチ選択
• Authors: Benjamin Bergner, Christoph Lippert, Aravindh Mahendran
• Abstract要約: 本稿では,メモリ使用量を入力サイズから分離する単純な手法であるIPSを提案する。 IPSは、最も健全なパッチだけを選択してこれを達成し、画像認識のためのグローバルな表現に集約する。 本手法は,最小のアクセラレータメモリを使用しながら,異なる領域,トレーニング体制,画像サイズにまたがって高い性能を示し,幅広い適用性を有する。
• 参考スコア（独自算出の注目度）: 10.847032625429717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-resolution images are prevalent in various applications, such as autonomous driving and computer-aided diagnosis. However, training neural networks on such images is computationally challenging and easily leads to out-of-memory errors even on modern GPUs. We propose a simple method, Iterative Patch Selection (IPS), which decouples the memory usage from the input size and thus enables the processing of arbitrarily large images under tight hardware constraints. IPS achieves this by selecting only the most salient patches, which are then aggregated into a global representation for image recognition. For both patch selection and aggregation, a cross-attention based transformer is introduced, which exhibits a close connection to Multiple Instance Learning. Our method demonstrates strong performance and has wide applicability across different domains, training regimes and image sizes while using minimal accelerator memory. For example, we are able to finetune our model on whole-slide images consisting of up to 250k patches (>16 gigapixels) with only 5 GB of GPU VRAM at a batch size of 16.
• Abstract（参考訳）: 高分解能画像は、自動運転やコンピュータ支援診断など、様々な用途で広く使われている。 しかし、そのような画像上でニューラルネットワークをトレーニングすることは計算的に困難であり、現代のGPUでも容易にメモリ外エラーにつながる。 本稿では,メモリ使用量を入力サイズから切り離し,ハードウェアの厳しい制約下での任意のサイズの画像の処理を可能にする,単純な手法であるイテレーティブ・パッチ選択(IPS)を提案する。 IPSは、最も健全なパッチだけを選択してこれを達成し、画像認識のためのグローバルな表現に集約する。 パッチ選択とアグリゲーションの両方のために、複数のインスタンス学習と密接な関係を示すクロスアテンションベースのトランスフォーマが導入された。 本手法は,最小のアクセラレータメモリを使用しながら,異なる領域,トレーニング体制,画像サイズにまたがって高い性能を示す。 例えば、最大250kのパッチ(>16ギガピクセル)と5GBのGPU VRAMのみをバッチサイズ16.6GBのバッチサイズで、スライディングイメージ全体のモデルを微調整することが可能です。

関連論文リスト

• Parameter-Inverted Image Pyramid Networks [49.35689698870247]
  Inverted Image Pyramid Networks (PIIP) と呼ばれる新しいネットワークアーキテクチャを提案する。 私たちの中核となる考え方は、パラメータサイズの異なるモデルを使用して、画像ピラミッドの解像度の異なるレベルを処理することです。 PIIPは、オブジェクト検出、セグメンテーション、画像分類などのタスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:10Z)
• CoordFill: Efficient High-Resolution Image Inpainting via Parameterized Coordinate Querying [52.91778151771145]
  本稿では,近年の連続的暗黙表現の発達により,その限界を初めて破ろうとする。 実験の結果,提案手法はGTX 2080 Ti GPUを用いて2048$times$2048の画像をリアルタイムに処理できることがわかった。
  論文  参考訳（メタデータ） (2023-03-15T11:13:51Z)
• PatchDropout: Economizing Vision Transformers Using Patch Dropout [9.243684409949436]
  入力画像パッチをランダムにドロップすることで、標準のViTモデルを高解像度で効率的に訓練できることを示す。 我々はPatchDropoutを使って計算とメモリの5倍の節約と性能の向上を観察する。
  論文  参考訳（メタデータ） (2022-08-10T14:08:55Z)
• ImageSig: A signature transform for ultra-lightweight image recognition [0.0]
  ImageSigは計算シグネチャに基づいており、畳み込み構造やアテンションベースのエンコーダを必要としない。 ImageSigはRaspberry PiやJetson-nanoのようなハードウェアで前例のないパフォーマンスを示している。
  論文  参考訳（メタデータ） (2022-05-13T23:48:32Z)
• HIPA: Hierarchical Patch Transformer for Single Image Super Resolution [62.7081074931892]
  本稿では,階層型パッチ分割を用いた高解像度画像を段階的に復元する新しいトランスフォーマーアーキテクチャHIPAを提案する。 入力画像を複数のステージで処理するカスケードモデルを構築し、小さなパッチサイズでトークンから始めて、徐々に全解像度にマージします。 このような階層的なパッチ機構は、複数の解像度で機能集約を可能にするだけでなく、異なる画像領域に対するパッチ認識機能も適応的に学習する。
  論文  参考訳（メタデータ） (2022-03-19T05:09:34Z)
• Patch-Based Stochastic Attention for Image Editing [4.8201607588546]
  PatchMatchアルゴリズムをベースとした,近接する近傍近傍の同定に有効なアテンション層を提案する。 画像インペイント, ガイド画像のカラー化, シングルイメージ超解像など, 画像編集作業におけるPSALの有用性を示す。
  論文  参考訳（メタデータ） (2022-02-07T13:42:00Z)
• Parallel Discrete Convolutions on Adaptive Particle Representations of Images [2.362412515574206]
  適応粒子表現上の離散畳み込み演算子のネイティブ実装のためのデータ構造とアルゴリズムを提案する。 APRは、サンプリング解像度を画像信号に局所的に適応するコンテンツ適応型画像表現である。 APRの畳み込みは、マルチコアCPUとGPUアーキテクチャを効率的に並列化するスケール適応アルゴリズムを自然に導くことを示す。
  論文  参考訳（メタデータ） (2021-12-07T09:40:05Z)
• Generating Superpixels for High-resolution Images with Decoupled Patch Calibration [82.21559299694555]
  Patch Networks (PCNet) は高解像度のスーパーピクセルセグメンテーションを効率的かつ正確に実装するように設計されている。 DPCは高解像度画像から局所パッチを取得し、動的にバイナリマスクを生成し、ネットワークを領域境界に集中させる。 特に、DPCは高解像度画像からローカルパッチを取り、動的にバイナリマスクを生成して、ネットワークを領域境界に集中させる。
  論文  参考訳（メタデータ） (2021-08-19T10:33:05Z)
• Memory Efficient Meta-Learning with Large Images [62.70515410249566]
  数ショットの分類に対するメタ学習アプローチは、新しいタスクを学ぶために、ほんの数ステップの最適化やシングルフォワードパスを必要とするテスト時に計算的に効率的である。 この制限は、最大1000のイメージを含むタスクの全体サポートセットが、最適化ステップを取る前に処理されなければならないために生じる。 本稿では,1つのGPU上の大容量画像からなる大規模タスクのメタトレーニングを可能にする,汎用的でメモリ効率の良いエピソード・トレーニング手法であるLITEを提案する。
  論文  参考訳（メタデータ） (2021-07-02T14:37:13Z)
• CooGAN: A Memory-Efficient Framework for High-Resolution Facial Attribute Editing [84.92009553462384]
  HR顔画像編集のためのNOVEL画素変換フレームワークCooperative GAN(CooGAN)を提案する。 このフレームワークは、きめ細かい局所的な顔パッチ生成のためのローカルパス(パッチレベルHR、ローメモリ)と、グローバル低解像度(LR)顔構造監視のためのグローバルパス(画像レベルLR、ローメモリ)を備えている。 さらに,より効率的なマルチスケール機能融合のための軽量な選択転写ユニットを提案する。
  論文  参考訳（メタデータ） (2020-11-03T08:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。