論文の概要: Which Pretext Task Transfers? Self-Supervised Pretraining Objectives for Lung Ultrasound
- arxiv url: http://arxiv.org/abs/2609.16551v1
- Date: Tue, 15 Sep 2026 02:48:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.316867
- Title: Which Pretext Task Transfers? Self-Supervised Pretraining Objectives for Lung Ultrasound
- Title（参考訳）: どのプレテキスト・タスク・トランスファーか? 肺超音波の自己教師付き事前学習対象
- Abstract要約: 自己教師型学習は、ラベル付けされた医療画像の必要性を減らすことができる。
コントラスト学習、仮面再構築、共同埋め込み予測アーキテクチャ(JEPA)は、目標が定義されている空間において異なる。
我々は,同じエンコーダバックボーン,事前学習コーパス,最適化スケジュール,凍結評価プロトコルを用いて,これらの3つの目的ファミリを比較した。
- 参考スコア（独自算出の注目度）: 7.33892543652551
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised learning (SSL) can reduce the need for labelled medical images, but the choice of pretext objective remains unclear for lung ultrasound (LUS). Contrastive learning, masked reconstruction, and joint-embedding predictive architectures (JEPA) differ in the space in which their targets are defined, yet existing ultrasound studies compare them under different corpora, backbones, and evaluation protocols. We compare these three objective families using the same encoder backbone, pretraining corpus, optimisation schedule, and frozen-evaluation protocol. Encoders are pretrained on COVID-BLUeS LUS videos and evaluated with linear, $k$NN, and attentive probes at 5\%, 10\%, 50\%, and 100\% label budgets. Evaluation is performed on POCUS using patient-level five-fold cross-validation and on the independently acquired Mendeley-Uganda dataset, which is excluded from both pretraining and probe fitting. At the full label budget under linear probing, VideoMAE and V-JEPA achieve $66.5 \pm 13.1$ and $65.4 \pm 11.7$ balanced accuracy on POCUS, while MoCo achieves $42.1 \pm 1.2$. On Mendeley-Uganda, the ranking reverses: MoCo performs best at $62.7 \pm 1.0$, followed by VideoMAE at $53.8 \pm 2.8$, while V-JEPA falls near chance at $35.1 \pm 4.9$. These results show that POCUS probe accuracy alone does not identify the objective that transfers best across datasets. We also outline planned representation-level analyses to examine this reversal. Code is publicly available at https://github.com/moeinheidari7829/LUSVideoSSL.
- Abstract（参考訳）: 自己教師あり学習 (SSL) は, ラベル付き医用画像の必要性を軽減できるが, 肺超音波 (LUS) の術前目的の選択はいまだに不明である。
コントラスト学習、マスク再構築、共同埋め込み予測アーキテクチャ(JEPA)は、目標が定義される空間において異なるが、既存の超音波検査では、異なるコーパス、バックボーン、評価プロトコルで比較されている。
我々は,同じエンコーダバックボーン,事前学習コーパス,最適化スケジュール,凍結評価プロトコルを用いて,これらの3つの目的ファミリを比較した。
エンコーダは、COVID-BLUeS LUSビデオで事前トレーニングされ、線形、$k$NN、減衰プローブを5\%、10\%、50\%、ラベル予算100\%で評価する。
患者レベルの5倍のクロスバリデーションと,プレトレーニングとプローブフィッティングの両方から除外された独立したMendley-Ugandaデータセットを用いてPOCUS上で評価を行った。
線形探索による完全なレーベル予算では、VideoMAEとV-JEPAは65.5 \pm 13.1$と65.4 \pm 11.7$をPOCUSで達成し、MoCoは42.1 \pm 1.2$を達成している。
メンデレー=ウガンダでは、MoCoの最高性能は62.7 pm 1.0$、VideoMAEは53.8 pm 2.8$、V-JEPAは35.1 pm 4.9$である。
これらの結果から,POCUSプローブの精度だけでは,データセット間で最高の転送対象を特定できないことがわかった。
また、この逆転を検証するために、計画された表現レベルの分析について概説する。
コードはhttps://github.com/moeinheidari7829/LUSVideoSSLで公開されている。
関連論文リスト
- OmniMed-FL: A Robust Multimodal Federated Learning Framework for Clinical Diagnosis [17.411567668075577]
OmniMed-FLは,5段階の臨床条件分類のためのマルチモーダル学習の制御システムである。
本研究のプロキシコーパスでは, 患者ではなくクラス別に, 3000の公衆胸部X線写真と3,000のクラスFOLD合成ノートを照合した。
すべてのノートは合成され、ペアリングは患者レベルではないため、これらは記述的なプロキシ比較であり、診断性能やデプロイメントの準備ができていない。
論文 参考訳（メタデータ） (2026-09-09T15:56:26Z) - LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics [50.45297537821907]
我々はLeJEPAの崩壊のない目的の下で訓練された最初のビデオエンコーダLeVJEPAを紹介する。
単一のエンコーダは、クリップのグローバルおよびローカルビューよりも分散損失で訓練される。
LeVJEPAはV-JEPA 2とVT-S/B/Lの5.6から20.8倍の速さで一致または超える。
論文 参考訳（メタデータ） (2026-08-27T17:26:24Z) - Text-Guided Refinement of Multi-sequence Glioma Subregion Segmentation with a Vision-Language Foundation Model [5.368430154049423]
3次元視覚言語基礎モデルでは、グリオーマ部分領域分割の指示誘導による洗練を行うことができる。
正しい、空白、矛盾するプロンプトに対する感度は、非特異的な後処理よりもテキスト依存の輪郭編集を示唆している。
論文 参考訳（メタデータ） (2026-08-05T20:17:02Z) - Cheap Probes Predict Expensive Training in 3D-CT Vision--Language Models [1.3198689566654107]
イメージグラウンドのプローブベンチマークを (エンコーダ$times$ compression) セル上に構築します。
予備研究では、各プローブを一致した下流タスクとペアリングする。
ホールドアップすると、エンコーダと圧縮の選択はフリーズトーケンプローブで数分でスクリーニングできる。
論文 参考訳（メタデータ） (2026-07-24T04:28:33Z) - LeNEPA: No-Augmentation Next-Latent Prediction for Time-Series Representation Learning [59.34593956287438]
我々は,事前学習信号ファミリーが変化した後,メソッド固有の構成が再利用されない場合にSSLレシピがどのように振る舞うかを検討する。
我々は遅延ユークリッド次世代予測アーキテクチャ(LeNEPA)を紹介する。
LeNEPAは、バニラNEPAが使用する停止段階/EMA安定化をSIGRegベースのイソトロピー正則化に置き換える。
論文 参考訳（メタデータ） (2026-07-01T13:56:21Z) - Now You (Still) See Me: Detecting Evasive Steganographic Payloads in LLMs [52.149036302760386]
大規模な言語モデルは、プロンプトによって引き起こされるシークレットを、流動的で良心的な出力にエンコードするように微調整することができる。
近年の研究では、内部の活性化から秘密を回収する線形プローブによる検出を提案する。
この防御は体系的に回避できるが,対象とするデータレベルの介入によって検出性が回復可能であることを示す。
論文 参考訳（メタデータ） (2026-06-08T12:27:11Z) - Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。
自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。
我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
論文 参考訳（メタデータ） (2026-05-14T20:27:32Z) - Exploiting Pre-trained Models for Drug Target Affinity Prediction with Nearest Neighbors [58.661454334877256]
薬物-標的結合親和性(DTA)予測は、薬物発見に不可欠である。
DTA予測へのディープラーニング手法の適用にもかかわらず、達成された精度は依然として準最適である。
事前学習したDTA予測モデルに適用した非表現埋め込みに基づく検索手法である$k$NN-DTAを提案する。
論文 参考訳（メタデータ） (2024-07-21T15:49:05Z) - FABind: Fast and Accurate Protein-Ligand Binding [127.7790493202716]
$mathbfFABind$はポケット予測とドッキングを組み合わせたエンドツーエンドモデルで、正確で高速なタンパク質-リガンド結合を実現する。
提案モデルでは,既存手法と比較して有効性と効率性に強い利点が示される。
論文 参考訳（メタデータ） (2023-10-10T16:39:47Z) - Consistent-Teacher: Towards Reducing Inconsistent Pseudo-targets in
Semi-supervised Object Detection [28.40887130075552]
擬似ターゲットは正確な検出器の訓練を損なう。
生徒のトレーニングにノイズを注入し、過度な過度な問題を引き起こす。
不整合を低減するために,ConsistentTeacherと呼ばれる体系的ソリューションを提案する。
論文 参考訳（メタデータ） (2022-09-04T10:21:02Z) - A Simple Semi-Supervised Learning Framework for Object Detection [55.95789931533665]
半教師付き学習(SSL)は、ラベルなしデータを用いた機械学習モデルの予測性能を改善する可能性がある。
本稿では,データ拡張戦略とともに,視覚オブジェクト検出のための簡易かつ効果的なSSLフレームワークSTACを提案する。
論文 参考訳（メタデータ） (2020-05-10T19:15:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。