論文の概要: Two-Stage Multi-task Self-Supervised Learning for Medical Image
Segmentation
- arxiv url: http://arxiv.org/abs/2402.07119v1
- Date: Sun, 11 Feb 2024 07:49:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 17:33:42.659446
- Title: Two-Stage Multi-task Self-Supervised Learning for Medical Image
Segmentation
- Title（参考訳）: 医用画像分割のための2段階マルチタスク自己監督学習
- Authors: Binyan Hu and A. K. Qin
- Abstract要約: 医用画像のセグメンテーションは深層学習(DL)技術によって著しく進歩している。
医療応用に固有のデータ不足は、DLベースのセグメンテーション手法に大きな課題をもたらす。
- 参考スコア（独自算出の注目度）: 1.5863809575305416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Medical image segmentation has been significantly advanced by deep learning
(DL) techniques, though the data scarcity inherent in medical applications
poses a great challenge to DL-based segmentation methods. Self-supervised
learning offers a solution by creating auxiliary learning tasks from the
available dataset and then leveraging the knowledge acquired from solving
auxiliary tasks to help better solve the target segmentation task. Different
auxiliary tasks may have different properties and thus can help the target task
to different extents. It is desired to leverage their complementary advantages
to enhance the overall assistance to the target task. To achieve this, existing
methods often adopt a joint training paradigm, which co-solves segmentation and
auxiliary tasks by integrating their losses or intermediate gradients. However,
direct coupling of losses or intermediate gradients risks undesirable
interference because the knowledge acquired from solving each auxiliary task at
every training step may not always benefit the target task. To address this
issue, we propose a two-stage training approach. In the first stage, the target
segmentation task will be independently co-solved with each auxiliary task in
both joint training and pre-training modes, with the better model selected via
validation performance. In the second stage, the models obtained with respect
to each auxiliary task are converted into a single model using an ensemble
knowledge distillation method. Our approach allows for making best use of each
auxiliary task to create multiple elite segmentation models and then combine
them into an even more powerful model. We employed five auxiliary tasks of
different proprieties in our approach and applied it to train the U-Net model
on an X-ray pneumothorax segmentation dataset. Experimental results demonstrate
the superiority of our approach over several existing methods.
- Abstract（参考訳）: 医用画像のセグメンテーションは、深層学習(DL)技術によって著しく進歩しているが、医療応用に固有のデータ不足は、DLベースのセグメンテーション手法に大きな課題をもたらす。
自己教師付き学習は、利用可能なデータセットから補助的な学習タスクを作成し、次に補助的なタスクの解決から得られた知識を活用して、ターゲットのセグメンテーションタスクの解決を支援するソリューションを提供する。
異なる補助的タスクは異なる性質を持つため、ターゲットタスクを異なる範囲で支援することができる。
補完的優位性を活用して、目標タスクへの全体的な支援を強化することが望まれる。
これを実現するために、既存の手法では、損失や中間勾配を統合することでセグメント化と補助的なタスクを共同で解決するジョイントトレーニングパラダイムを採用することが多い。
しかしながら、損失の直接結合や中間勾配は、各訓練ステップで各補助タスクを解くことで得られる知識が常に目標タスクの恩恵を受けるとは限らないため、望ましくない干渉を引き起こす。
この問題に対処するため,我々は2段階のトレーニング手法を提案する。
第1段階では、目標セグメンテーションタスクは、共同トレーニングとプレトレーニングモードの両方において、各補助タスクと独立に共存し、より良いモデルがバリデーションパフォーマンスによって選択される。
第2段階では、各補助課題に関して得られたモデルは、アンサンブル知識蒸留法を用いて単一のモデルに変換される。
我々のアプローチでは、各補助タスクを最大限に活用して、複数のエリートセグメンテーションモデルを作成し、さらに強力なモデルに組み合わせることができる。
提案手法では,5つの補助的タスクを用いて,X線気胸セグメンテーションデータセットを用いてU-Netモデルを訓練した。
実験の結果,既存の手法よりも優れた手法が得られた。
関連論文リスト
- Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - TBGC: Task-level Backbone-Oriented Gradient Clip for Multi-Task
Foundation Model Learning [0.0]
タスクレベルのバックボーン指向の勾配クリップパラダイムを,バニラ勾配クリップ法と比較して提案する。
実験結果から,タスクレベルのバックボーン指向の勾配クリップパラダイムは,勾配バイアス問題をある程度緩和できると主張している。
CVPR2023 Foundation Model ChallengeのLeadardboard Aと2位で1位を獲得しました。
論文 参考訳（メタデータ） (2023-07-07T08:57:57Z) - Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。
自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
論文 参考訳（メタデータ） (2022-10-13T17:59:16Z) - Histogram of Oriented Gradients Meet Deep Learning: A Novel Multi-task
Deep Network for Medical Image Semantic Segmentation [18.066680957993494]
医用画像セグメンテーションのための深層マルチタスク学習法を提案する。
教師なしの方法で補助作業の擬似ラベルを生成する。
本手法は, 対数部法と比較して連続的に性能を向上する。
論文 参考訳（メタデータ） (2022-04-02T23:50:29Z) - Transfer Learning in Conversational Analysis through Reusing
Preprocessing Data as Supervisors [52.37504333689262]
単一タスク学習におけるノイズの多いラベルの使用は、過度に適合するリスクを増大させる。
補助的なタスクは、同じトレーニング中に一次タスク学習のパフォーマンスを向上させることができる。
論文 参考訳（メタデータ） (2021-12-02T08:40:42Z) - Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。
本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。
CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
論文 参考訳（メタデータ） (2021-10-26T22:03:51Z) - Adaptive Transfer Learning on Graph Neural Networks [4.233435459239147]
グラフニューラルネットワーク(GNN)は、グラフ構造化データの強力な表現を学ぶために広く利用されている。
近年の研究では、自己教師型タスクから下流タスクへの知識伝達により、グラフ表現がさらに改善されることが示されている。
本稿では,GNN 上での移動学習パラダイムを提案する。これは,目標タスクを支援するための補助タスクとして,自己教師型タスクを効果的に活用することができる。
論文 参考訳（メタデータ） (2021-07-19T11:46:28Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳（メタデータ） (2020-10-24T21:35:57Z) - Auxiliary Learning by Implicit Differentiation [54.92146615836611]
補助的なタスクによるニューラルネットワークのトレーニングは、関心のあるメインタスクのパフォーマンスを改善するための一般的なプラクティスである。
そこで我々は,暗黙の識別に基づく両課題を対象とした新しいフレームワークAuxiLearnを提案する。
まず、有用な補助関数が知られている場合、全ての損失を1つのコヒーレントな目的関数に組み合わせたネットワークの学習を提案する。
第二に、有用な補助タスクが知られていない場合、意味のある新しい補助タスクを生成するネットワークの学習方法について述べる。
論文 参考訳（メタデータ） (2020-06-22T19:35:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。