論文の概要: End-to-end Multiple Instance Learning with Gradient Accumulation

• arxiv url: http://arxiv.org/abs/2203.03981v1
• Date: Tue, 8 Mar 2022 10:14:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-03-09 13:46:32.593941
• Title: End-to-end Multiple Instance Learning with Gradient Accumulation
• Title（参考訳）: 勾配蓄積によるエンドツーエンド複数インスタンス学習
• Authors: Axel Andersson, Nadezhda Koriakina, Nata\v{s}a Sladoje and Joakim Lindblad
• Abstract要約: 本稿では,GPUメモリに制限されることなく,AMMILモデルのエンドツーエンドのトレーニングを可能にするトレーニング戦略を提案する。 我々はQMNISTとImagenetteの両方で実験を行い、性能とトレーニング時間について検討する。 このメモリ効率のアプローチは遅いが、メモリ拡張ベースラインと区別できないパフォーマンスに達する。
• 参考スコア（独自算出の注目度）: 2.2612425542955292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Being able to learn on weakly labeled data, and provide interpretability, are two of the main reasons why attention-based deep multiple instance learning (ABMIL) methods have become particularly popular for classification of histopathological images. Such image data usually come in the form of gigapixel-sized whole-slide-images (WSI) that are cropped into smaller patches (instances). However, the sheer size of the data makes training of ABMIL models challenging. All the instances from one WSI cannot be processed at once by conventional GPUs. Existing solutions compromise training by relying on pre-trained models, strategic sampling or selection of instances, or self-supervised learning. We propose a training strategy based on gradient accumulation that enables direct end-to-end training of ABMIL models without being limited by GPU memory. We conduct experiments on both QMNIST and Imagenette to investigate the performance and training time, and compare with the conventional memory-expensive baseline and a recent sampled-based approach. This memory-efficient approach, although slower, reaches performance indistinguishable from the memory-expensive baseline.
• Abstract（参考訳）: 弱いラベル付きデータで学習し、解釈可能性を提供することができることは、注意に基づく深層多点学習(ABMIL)法が病理画像の分類において特に人気になった主な理由の1つである。 このような画像データは、通常、小さなパッチ(インスタンス)にトリミングされるギガピクセルサイズの全スライディングイメージ(WSI)の形になる。 しかし、データの大きさは、AMMILモデルのトレーニングを困難にしている。 1つのWSIのインスタンスはすべて、従来のGPUでは一度に処理できない。 既存のソリューションは、事前訓練されたモデル、戦略的サンプリングやインスタンスの選択、あるいは自己教師型学習に頼ることで、トレーニングを損なう。 本稿では、GPUメモリに制限されることなくAMMILモデルのエンドツーエンドのトレーニングを可能にする勾配蓄積に基づくトレーニング戦略を提案する。 qmnistとimagenetteの両方で実験を行い、パフォーマンスとトレーニング時間を調査し、従来のメモリ拡張ベースラインと最近のサンプルベースアプローチとの比較を行った。 このメモリ効率のアプローチは遅いが、メモリ拡張ベースラインと区別できないパフォーマンスに達する。

関連論文リスト

• Time-, Memory- and Parameter-Efficient Visual Adaptation [75.28557015773217]
  バックボーンを介して勾配をバックプロパゲートしない適応法を提案する。 凍結した、事前訓練されたバックボーンの機能を利用する軽量ネットワークを並列に設計することで、これを実現する。
  論文  参考訳（メタデータ） (2024-02-05T10:55:47Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
  現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。 本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。 提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
  論文  参考訳（メタデータ） (2023-11-03T17:29:46Z)
• Multiple Instance Learning Framework with Masked Hard Instance Mining for Whole Slide Image Classification [11.996318969699296]
  マスケードハードインスタンスマイニング(MHIM-MIL)について紹介する。 MHIM-MILは、潜在的なハードインスタンスを探索するために一貫性のある制約を持つシームズ構造(Teacher-Student)を使用する。 CAMELYON-16およびTCGA肺がんデータセットの実験結果は、MHIM-MILがパフォーマンスとトレーニングコストの点で他の最新の方法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-07-28T01:40:04Z)
• Exploring Visual Prompts for Whole Slide Image Classification with Multiple Instance Learning [25.124855361054763]
  本稿では,事前学習したモデルから病理組織像へのドメイン固有知識変換を学習するための,新しい,シンプルで効果的な手法を提案する。 提案手法では,事前学習したデータセットと対象の病理組織学データセットの違いを識別する上で,事前学習したモデルを支援するために,プロンプトコンポーネントを使用する。
  論文  参考訳（メタデータ） (2023-03-23T09:23:52Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• ReMix: A General and Efficient Framework for Multiple Instance Learning based Whole Slide Image Classification [14.78430890440035]
  ワイルスライド画像(WSI)分類は、ギガピクセル解像度画像とスライドレベルのラベルを扱うために弱教師付き多重インスタンス学習(MIL)法に依存することが多い。 MILに基づくWSI分類のための汎用的で効率的なフレームワークであるReMixを提案する。
  論文  参考訳（メタデータ） (2022-07-05T04:21:35Z)
• Memory Efficient Meta-Learning with Large Images [62.70515410249566]
  数ショットの分類に対するメタ学習アプローチは、新しいタスクを学ぶために、ほんの数ステップの最適化やシングルフォワードパスを必要とするテスト時に計算的に効率的である。 この制限は、最大1000のイメージを含むタスクの全体サポートセットが、最適化ステップを取る前に処理されなければならないために生じる。 本稿では,1つのGPU上の大容量画像からなる大規模タスクのメタトレーニングを可能にする,汎用的でメモリ効率の良いエピソード・トレーニング手法であるLITEを提案する。
  論文  参考訳（メタデータ） (2021-07-02T14:37:13Z)
• Few-Cost Salient Object Detection with Adversarial-Paced Learning [95.0220555274653]
  本稿では,少数のトレーニング画像にのみ手動アノテーションを応用して,効果的なサルエント物体検出モデルを学習することを提案する。 我々は,このタスクを,少額の有能な物体検出とみなし,少数のコストの学習シナリオを促進するために,APL(Adversarialpaced Learning)ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-05T14:15:49Z)
• Remote Sensing Image Scene Classification with Self-Supervised Paradigm under Limited Labeled Samples [11.025191332244919]
  我々は,大規模なラベル付きデータからRSIシーン分類のための高性能事前学習モデルを得るために,新たな自己教師付き学習(SSL)機構を導入する。 一般的な3つのRSIシーン分類データセットの実験により、この新たな学習パラダイムは、従来の支配的なImageNet事前学習モデルよりも優れていることが示された。 我々の研究から得られた知見は、リモートセンシングコミュニティにおけるSSLの発展を促進するのに役立ちます。
  論文  参考訳（メタデータ） (2020-10-02T09:27:19Z)
• Dynamic Sampling for Deep Metric Learning [7.010669841466896]
  深度メートル法学習は、視覚的に類似した画像を近くの場所にマッピングし、埋め込み多様体内の互いに視覚的に異なる画像を分離する。 トレーニングペアをネットワークに送受信し易い順に整理する動的サンプリング戦略を提案する。 これにより、ネットワークは、初期の簡単なトレーニングペアからカテゴリ間の一般的な境界を学習し、後のハードトレーニングサンプルに主に依存したモデルの詳細を確定することができる。
  論文  参考訳（メタデータ） (2020-04-24T09:47:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。