論文の概要: Progressive Growing of Patch Size: Resource-Efficient Curriculum Learning for Dense Prediction Tasks

• arxiv url: http://arxiv.org/abs/2407.07853v2
• Date: Thu, 11 Jul 2024 07:35:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 11:33:49.078446
• Title: Progressive Growing of Patch Size: Resource-Efficient Curriculum Learning for Dense Prediction Tasks
• Title（参考訳）: パッチサイズの進行的成長:資源効率のよいカリキュラム学習による高密度予測課題
• Authors: Stefan M. Fischer, Lina Felsner, Richard Osuala, Johannes Kiechle, Daniel M. Lang, Jan C. Peeken, Julia A. Schnabel,
• Abstract要約: 本稿では資源効率の高い暗黙的なカリキュラム学習手法であるPatch Sizeのプログレッシブグロース(Progressive Growing of Patch)を紹介する。 我々のカリキュラムのアプローチは、モデルトレーニング中にパッチサイズを拡大することで定義され、タスクの難しさが徐々に増大する。 提案手法により,ネットワークトレーニングのランタイム,計算コスト,CO2排出量を大幅に削減できる。
• 参考スコア（独自算出の注目度）: 2.8755123201287036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we introduce Progressive Growing of Patch Size, a resource-efficient implicit curriculum learning approach for dense prediction tasks. Our curriculum approach is defined by growing the patch size during model training, which gradually increases the task's difficulty. We integrated our curriculum into the nnU-Net framework and evaluated the methodology on all 10 tasks of the Medical Segmentation Decathlon. With our approach, we are able to substantially reduce runtime, computational costs, and CO2 emissions of network training compared to classical constant patch size training. In our experiments, the curriculum approach resulted in improved convergence. We are able to outperform standard nnU-Net training, which is trained with constant patch size, in terms of Dice Score on 7 out of 10 MSD tasks while only spending roughly 50% of the original training runtime. To the best of our knowledge, our Progressive Growing of Patch Size is the first successful employment of a sample-length curriculum in the form of patch size in the field of computer vision. Our code is publicly available at https://github.com/compai-lab/2024-miccai-fischer.
• Abstract（参考訳）: 本研究では,資源効率の高い暗黙的なカリキュラム学習手法であるPatch Sizeのプログレッシブグロース(Progressive Growing of Patch Size)を紹介する。 我々のカリキュラムのアプローチは、モデルトレーニング中にパッチサイズを拡大することで定義され、タスクの難しさが徐々に増大する。 我々は,カリキュラムをnnU-Netフレームワークに統合し,メディカルセグメンテーション宣言の10タスクの方法論を評価した。 提案手法により,従来の定型パッチサイズトレーニングと比較して,ネットワークトレーニングのランタイム,計算コスト,CO2排出量を大幅に削減できる。 実験では,カリキュラムのアプローチにより収束性が改善された。 私たちは10のMSDタスクのうち7つのDice Scoreについて、パッチサイズを一定にトレーニングした標準的なnnU-Netトレーニングよりも優れていますが、オリジナルのトレーニングランタイムの約50%しか使用していません。 私たちの知識を最大限に活用するために、我々のプログレッシブグロース・オブ・パッチサイズは、コンピュータビジョンの分野におけるパッチサイズという形でサンプル長のカリキュラムを成功させた最初の例です。 私たちのコードはhttps://github.com/compai-lab/2024-miccai-fischer.comで公開されています。

関連論文リスト

• CBM: Curriculum by Masking [27.320746607958142]
  Curriculum by Masking (CBM)は、物体の認識と検出のための最先端のカリキュラム学習戦略である。 CBMはパッチ(トークン)マスキングによって、簡単にハードなトレーニングスケジュールを作成する。 我々はCBMとカリキュラムベースの教育制度を比較した。
  論文  参考訳（メタデータ） (2024-07-06T21:35:18Z)
• Scaling Laws and Compute-Optimal Training Beyond Fixed Training Durations [62.132347451049455]
  スケールとトレーニングの研究は、余剰のスケジュールに依存するため、必然的に複雑である、と我々は主張する。 直接学習率とスケジュールの訓練行動について検討し,コサインと予測可能かつ確実に類似していることを確認した。 その結果,重量平均化はトレーニングの軌道に沿って,異なるスケールでのトレーニングコストを伴わずに向上することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T17:33:54Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)
• Learning Rate Curriculum [75.98230528486401]
  ラーニングレートカリキュラム(LeRaC)と呼ばれる新しいカリキュラム学習手法を提案する。 LeRaCは、ニューラルネットワークの各レイヤ毎に異なる学習率を使用して、最初のトレーニングエポックの間、データに依存しないカリキュラムを作成する。 Smoothing(CBS)によるCurriculum(Curriculum)との比較を行った。
  論文  参考訳（メタデータ） (2022-05-18T18:57:36Z)
• Staged Training for Transformer Language Models [47.99321376123886]
  私たちは、小さなモデルから始まり、トレーニングに使用する計算量を漸進的に増加させる、段階的なトレーニング設定を考えます。 トレーニングプロセスは、各ステージを前のステージの出力で初期化することにより、計算を効果的に再利用する。 成長オペレーターを実証的に検証し、自己回帰言語モデルのトレーニングを行い、最大22%の計算貯蓄量を示した。
  論文  参考訳（メタデータ） (2022-03-11T19:05:42Z)
• Curriculum Meta-Learning for Few-shot Classification [1.5039745292757671]
  本稿では,最新のメタ学習技術に適用可能なカリキュラム学習フレームワークの適応性を提案する。 数発の画像分類タスクにおけるMAMLアルゴリズムによる実験は,カリキュラムの学習フレームワークにおいて有意な効果を示した。
  論文  参考訳（メタデータ） (2021-12-06T10:29:23Z)
• Task Attended Meta-Learning for Few-Shot Learning [3.0724051098062097]
  そこで我々は,タスクアサートメタトレーニングと呼ばれる,人間の選択的な焦点を動機とする学習カリキュラムを紹介し,タスクをバッチで重み付けする。 複雑なデータセットに対する非タスク付きモデルとの比較は、その有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-20T07:34:37Z)
• Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
  大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。 そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。 提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
  論文  参考訳（メタデータ） (2020-12-24T19:34:56Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。