Fugu-MT 論文翻訳(概要): Gradient Alignment Improves Test-Time Adaptation for Medical Image Segmentation

論文の概要: Gradient Alignment Improves Test-Time Adaptation for Medical Image Segmentation

arxiv url: http://arxiv.org/abs/2408.07343v2
Date: Fri, 16 Aug 2024 09:44:49 GMT
ステータス: 処理完了
システム内更新日: 2024-08-19 10:48:24.429868
Title: Gradient Alignment Improves Test-Time Adaptation for Medical Image Segmentation
Title（参考訳）: グラディエントアライメントによる医用画像分割のためのテスト時間適応の改善
Authors: Ziyang Chen, Yiwen Ye, Yongsheng Pan, Yong Xia,
Abstract要約: 勾配アライメントに基づくテスト時間適応法(GraTa)による勾配方向と学習率の向上 GraTa法は、勾配アライメントを容易にするために、擬似的勾配に補助勾配を組み込む。擬似勾配と補助勾配のコサイン類似性に基づく動的学習率を設計する。
参考スコア（独自算出の注目度）: 15.791041311313448
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Although recent years have witnessed significant advancements in medical image segmentation, the pervasive issue of domain shift among medical images from diverse centres hinders the effective deployment of pre-trained models. Many Test-time Adaptation (TTA) methods have been proposed to address this issue by fine-tuning pre-trained models with test data during inference. These methods, however, often suffer from less-satisfactory optimization due to suboptimal optimization direction (dictated by the gradient) and fixed step-size (predicated on the learning rate). In this paper, we propose the Gradient alignment-based Test-time adaptation (GraTa) method to improve both the gradient direction and learning rate in the optimization procedure. Unlike conventional TTA methods, which primarily optimize the pseudo gradient derived from a self-supervised objective, our method incorporates an auxiliary gradient with the pseudo one to facilitate gradient alignment. Such gradient alignment enables the model to excavate the similarities between different gradients and correct the gradient direction to approximate the empirical gradient related to the current segmentation task. Additionally, we design a dynamic learning rate based on the cosine similarity between the pseudo and auxiliary gradients, thereby empowering the adaptive fine-tuning of pre-trained models on diverse test data. Extensive experiments establish the effectiveness of the proposed gradient alignment and dynamic learning rate and substantiate the superiority of our GraTa method over other state-of-the-art TTA methods on a benchmark medical image segmentation task. The code and weights of pre-trained source models will be available.
Abstract（参考訳）: 近年、医用画像のセグメンテーションが著しく進歩しているのを目の当たりにしているが、様々なセンターからの医用画像における領域シフトの広範化は、事前訓練されたモデルの効果的な展開を妨げる。多くのテスト時間適応(TTA)手法が、推論中にテストデータを持つ事前学習モデルの微調整によってこの問題に対処するために提案されている。しかしながら、これらの手法は、最適以下の最適化方向(勾配によって予測される)と固定ステップサイズ(学習速度に基づいて予測される)によって、満足度の低い最適化に悩まされることが多い。本稿では,グラディエントアライメントに基づくテスト時間適応法(GraTa)を提案する。自己監督対象から導出される擬似勾配を最適化する従来のTTA法とは異なり,本手法は擬似勾配を組み込んで勾配調整を容易にする。このような勾配アライメントにより、モデルは異なる勾配間の類似性を発掘し、勾配方向を補正し、現在のセグメント化タスクに関連する経験的勾配を近似することができる。さらに、擬似勾配と補助勾配のコサイン類似性に基づいて動的学習率を設計し、様々なテストデータに基づいて事前学習したモデルの適応微調整を行う。広汎な実験により、提案した勾配アライメントと動的学習率の有効性を確立し、ベンチマーク医用画像セグメンテーションタスクにおける他の最先端TTA法よりもGraTa法の方が優れていることを実証した。事前トレーニングされたソースモデルのコードと重みが利用可能になる。

関連論文リスト

Interpreting Adaptive Gradient Methods by Parameter Scaling for Learning-Rate-Free Optimization [14.009179786857802]
深層ニューラルネットワークの学習に使用される適応的勾配法について,学習率を推定する上での課題に対処する。学習速度のないいくつかのアプローチが提案されているが、それらは典型的には最も急降下に適したものである。本稿では,適応勾配法をパラメータスケールネットワークに適用した最も急勾配と解釈する。
論文参考訳（メタデータ） (2024-01-06T15:45:29Z)
Taxonomy Adaptive Cross-Domain Adaptation in Medical Imaging via Optimization Trajectory Distillation [73.83178465971552]
自動医用画像解析の成功は、大規模かつ専門家による注釈付きトレーニングセットに依存する。非教師なしドメイン適応(UDA)はラベル付きデータ収集の負担を軽減するための有望なアプローチである。本稿では,2つの技術的課題に新しい視点から対処する統一的手法である最適化トラジェクトリ蒸留を提案する。
論文参考訳（メタデータ） (2023-07-27T08:58:05Z)
Angle based dynamic learning rate for gradient descent [2.5077510176642805]
分類タスクにおける勾配に基づく降下法を適応的に学習する手法を提案する。勾配に基づく項を期待することで適応学習率を選択する従来の手法の代わりに、現在の勾配と新しい勾配の間の角度を用いる。提案手法は,ほとんどのデータセットにおいて,最も精度の高い手法であることがわかった。
論文参考訳（メタデータ） (2023-04-20T16:55:56Z)
Delving into Effective Gradient Matching for Dataset Condensation [13.75957901381024]
勾配マッチング法は、元のデータセットと合成データセットのトレーニング時に勾配をマッチングすることで、トレーニングダイナミクスを直接ターゲットとする。クラス内勾配情報とクラス間勾配情報の両方を含む多段階勾配情報とを一致させることを提案する。アルゴリズムの効率向上のための不要な最適化ステップをトリムするために、過適合適応学習ステップ戦略も提案されている。
論文参考訳（メタデータ） (2022-07-30T21:31:10Z)
BFE and AdaBFE: A New Approach in Learning Rate Automation for Stochastic Optimization [3.541406632811038]
学習速度を自動的に調整する勾配に基づく最適化手法を提案する。このアプローチは、勾配降下(SGD)アルゴリズムに基づく学習率を最適化する代替手法である可能性がある。
論文参考訳（メタデータ） (2022-07-06T15:55:53Z)
DLTTA: Dynamic Learning Rate for Test-time Adaptation on Cross-domain Medical Images [56.72015587067494]
DLTTAと呼ばれるテスト時間適応のための新しい動的学習率調整法を提案する。本手法は,現在最先端のテスト時間適応法よりも一貫した性能向上を図り,有効かつ高速なテスト時間適応を実現する。
論文参考訳（メタデータ） (2022-05-27T02:34:32Z)
Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文参考訳（メタデータ） (2020-10-21T14:49:00Z)
Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文参考訳（メタデータ） (2020-06-16T13:41:54Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)
Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。適応勾配法の一般化に関する経験的および理論的考察を示す。
論文参考訳（メタデータ） (2020-02-26T21:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。