Fugu-MT 論文翻訳(概要): Continual pretraining Prostate MRI ViT Encoder for task alignment

論文の概要: Continual pretraining Prostate MRI ViT Encoder for task alignment

arxiv url: http://arxiv.org/abs/2610.20217v1
Date: Wed, 14 Oct 2026 13:57:23 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-15 21:06:16.178001
Title: Continual pretraining Prostate MRI ViT Encoder for task alignment
Title（参考訳）: タスクアライメントのための連続前立腺MRI ViTエンコーダ
Abstract要約: MRIの基礎モデルの構築は、医療画像解析の進歩とタスク特化モデルのアクセシビリティ向上のための有望な方向として現れてきた。既存のアプローチは主に、効果的な事前学習戦略と、さまざまな下流タスクにおけるパフォーマンス評価に重点を置いています。 2つのステージが自然にアライメントされている言語モデルとは異なり、このようなアライメントは視覚ベースのアプリケーションでは明らかでない。
参考スコア（独自算出の注目度）: 16.360344969143892
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Building foundation models for MRI has emerged as a promising direction for advancing medical image analysis and improving accessibility of task specific models. Existing approaches primarily focus on effective pretraining strategies and evaluating their performance across diverse downstream tasks. While these methods show performance gains, limited attention has been given to understanding task alignment between pretraining and downstream objectives. Unlike language models, where the two stages are naturally aligned, such alignment is less evident in vision based applications. Motivated by this gap, we explore continual pretraining. Specifically, continually pretraining a pretrained ViT encoder using Low-Rank Adaptation (LoRA) on a prostate segmentation task to enhance task alignment and downstream performance. We further perform layer-wise representational analysis using Centered Kernel Alignment (CKA) to assess representational shifts and their correlation with task outcomes. Our experiments show improved performance in 3 of 6 downstream tasks and comparable results in the others. Our Feature analysis reveals that, for segmentation tasks, continually pretrained encoder features exhibit greater similarity to those of the finetuned encoder than the original pretrained encoder, correlating with observed performance gains.
Abstract（参考訳）: MRIの基礎モデルの構築は、医療画像解析の進歩とタスク固有モデルのアクセシビリティ向上のための有望な方向として現れてきた。既存のアプローチは主に、効果的な事前学習戦略と、さまざまな下流タスクにおけるパフォーマンス評価に重点を置いています。これらの手法は性能向上を示すが、事前学習目標と下流目標とのタスクアライメントの理解には限定的な注意が払われている。 2つのステージが自然にアライメントされている言語モデルとは異なり、このようなアライメントは視覚ベースのアプリケーションでは明らかでない。このギャップによって、私たちは継続的な事前訓練を探求します。具体的には、タスクアライメントとダウンストリーム性能を向上させるために、前立腺セグメンテーションタスクでLoRA(Lo-Rank Adaptation)を使用してトレーニング済みのViTエンコーダを継続的に事前訓練する。さらに、CKA(Centered Kernel Alignment)を用いて階層的表現解析を行い、その表現変化とタスク結果との相関性を評価する。実験の結果,下流6つのタスクのうち3つは性能が向上し,他のタスクに匹敵する結果が得られた。特徴分析により, セグメンテーションタスクにおいて, 連続的に事前訓練されたエンコーダ特徴は, 観測された性能向上に関連する元の事前訓練エンコーダよりも, 微調整されたエンコーダの特徴によく似ていることが明らかとなった。

関連論文リスト

Masked Contrastive Pre-Training Improves Music Audio Key Detection [38.40028026040883]
本研究は,自己指導型事前学習の設計がピッチ感度に直接影響を及ぼすことを示す最初の体系的な研究である。マスク付きコントラスト埋め込みにより、教師付きセッティングにおけるキー検出における最先端(SOTA)のパフォーマンスが一意に向上する。
論文参考訳（メタデータ） (2026-04-11T04:22:17Z)
Understanding the Transfer Limits of Vision Foundation Models [38.99867932557529]
ファンデーションモデルは大規模な事前学習を利用して広範な知識を捉え、幅広い言語タスクにおける一般化を実証する。この制限は、事前学習目標と下流の視覚・画像タスクの要求とのミスマッチから生じると仮定する。一般的な視覚パターンの回復やグローバルな意味構造などのタスクに対する、マスク付き画像再構成や対照的な学習形状表現などの事前学習戦略。以上の結果から,事前学習と下流作業の整合性は,最大平均偏差(MMD)などの単純な分散指標によって測定され,微調整前後の同一特徴間の相関が強く,性能改善と相関することが示唆された。
論文参考訳（メタデータ） (2026-01-22T12:07:56Z)
How Effective is Pre-training of Large Masked Autoencoders for Downstream Earth Observation Tasks? [9.515532265294187]
自己教師付き事前訓練は多くのコンピュータビジョンタスクに非常に効果的であることが証明されている。事前訓練されたモデルがスクラッチからトレーニングするよりも大きなアドバンテージを提供する条件は、まだ不明である。
論文参考訳（メタデータ） (2024-09-27T08:15:14Z)
Skeleton2vec: A Self-supervised Learning Framework with Contextualized Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文参考訳（メタデータ） (2024-01-01T12:08:35Z)
Value Explicit Pretraining for Learning Transferable Representations [11.069853883599102]
本稿では,伝達強化学習のための一般化可能な表現を学習する手法を提案する。我々は、目的条件付き表現のためのエンコーダを学習することで、前回学習したタスクと同様の目的を共有する新しいタスクを学ぶ。現実的なナビゲーションシミュレータとAtariベンチマークを用いて実験したところ,本手法により生成された事前学習エンコーダは,現在のSoTA事前学習法より優れていることがわかった。
論文参考訳（メタデータ） (2023-12-19T17:12:35Z)
Multi-Level Contrastive Learning for Dense Prediction Task [59.591755258395594]
本稿では,高密度予測タスクのための領域レベルの特徴表現を効率よく学習するための,MCL(Multi-Level Contrastive Learning for Dense Prediction Task)を提案する。本手法は, 局所化, スケールの整合性, 認識の3つの要因に動機付けられている。提案手法は,様々なデータセットにおける最近の最先端の手法よりも有意なマージンを有する。
論文参考訳（メタデータ） (2023-04-04T17:59:04Z)
Understanding and Mitigating Overfitting in Prompt Tuning for Vision-Language Models [108.13378788663196]
本稿では, トレーニング過程全体において, 低ランク部分空間にバックプロパゲーションの勾配を投影するSubspace Prompt Tuning(SubPT)を提案する。我々はCoOpにノベル・ラーナー・フィーチャー(NFL)を装備し、学習したプロンプトをトレーニングセット以外の新しいカテゴリに一般化する能力を高める。
論文参考訳（メタデータ） (2022-11-04T02:06:22Z)
Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
論文参考訳（メタデータ） (2022-10-13T17:59:16Z)
A Closer Look at Self-Supervised Lightweight Vision Transformers [44.44888945683147]
大規模視覚変換器(ViT)の自己教師型学習を事前学習法として実現した。画像分類タスクと下流密度予測タスクに関する自己教師付き事前学習手法のベンチマークを行った。バニラ・ライトウェイトなViTでさえ、デリケートなアーキテクチャ設計を持つ以前のSOTAネットワークに匹敵する性能を示している。
論文参考訳（メタデータ） (2022-05-28T14:14:57Z)
On Efficient Transformer and Image Pre-training for Low-level Vision [74.22436001426517]
プレトレーニングは、ハイレベルコンピュータビジョンにおける多くの最先端の芸術である。画像事前学習の詳細な研究について述べる。低レベルのタスクでは,事前トレーニングが極めて異なる役割を担っています。
論文参考訳（メタデータ） (2021-12-19T15:50:48Z)
Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
論文参考訳（メタデータ） (2021-05-17T13:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。