論文の概要: Cracks in Embeddings: Robustness and Stability of JEPA-Based Chest X-Ray Representations
- arxiv url: http://arxiv.org/abs/2611.17905v1
- Date: Fri, 13 Nov 2026 08:47:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.340609
- Title: Cracks in Embeddings: Robustness and Stability of JEPA-Based Chest X-Ray Representations
- Title(参考訳): 埋め込みにおける亀裂:JEPAによる胸部X線表現のロバスト性と安定性
- Abstract要約: 自己監督型共同埋め込み予測アーキテクチャモデルは、医療画像にますます利用されている。
我々は,78,468 NIH NIH ChestX-ray14画像に基づいて,JEPAベースの胸部X線エンコーダを4つ試験した。
- 参考スコア(独自算出の注目度): 6.023380302389267
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised Joint Embedding Predictive Architecture (JEPA) models are increasingly used for medical imaging, however there is a limited understanding about robustness of these models toward real-world image changes. We test four JEPA-based chest X-ray encoders, trained on 78,468 NIH ChestX-ray14 images, under six tests: two black-box adversarial attacks (SPSA, Boundary Attack), three image corruptions (Gaussian noise, brightness shift, contrast shift), and a label-scarcity test, measuring embedding change and classification AUROC. These perturbations cause severe, model-dependent damage: encoder-level Cosine Similarity drops as low as 0.33, and AUROC falls by as much as 0.12 in the worst case (I-JEPA under the Boundary Test). We test two ways of training the small predictor on top of each frozen encoder to address this. Adversarial fine-tuning, trained on clean and perturbed images together, raises embedding consistency above 0.97 in nearly every case and improves AUROC, relative to the same perturbed baseline, for most models, with the largest gain of $+0.10$ on I-JEPA. A Vector-Quantized codebook method, trained only on clean images and evaluated on perturbed test images for the first time, instead degrades under distortion for all four models, most noticeably for I-JEPA ($-0.15$ AUROC on average), showing that its discrete bottleneck alone does not provide the robustness that comes from training on perturbed data directly.
- Abstract(参考訳): 自己監督型共同埋め込み予測アーキテクチャ (JEPA) モデルは, 医用画像への利用が増えているが, 実際の画像変化に対するこれらのモデルの堅牢性については, 限定的な理解がされている。
4つのJEPAベースの胸部X線エンコーダ(78,468 NIH NIH ChestX-ray14画像)を,2つのブラックボックス対向攻撃(SPSA,境界攻撃)、3つの画像破壊(ガウスノイズ,明るさシフト,コントラストシフト)、3つのラベルスカーシティテスト(埋め込み変化と分類AUROC)の6つのテストでテストした。
エンコーダレベルのコサイン類似度は0.33まで低下し、AUROCは最悪の場合0.12まで低下する(境界試験によるI-JEPA)。
凍結エンコーダの上の小さな予測器を2つの方法で訓練し、この問題に対処する。
クリーンで摂動的なイメージを一緒に訓練した逆調整は、ほぼすべてのケースにおいて0.97以上の埋め込み一貫性を高め、ほとんどのモデルで同じ摂動ベースラインに対してAUROCを改善し、I-JEPAで最大の利益は+0.10ドルである。
Vector-Quantized codebookメソッドは、クリーンなイメージのみに基づいてトレーニングされ、初めて摂動テストイメージで評価されるが、代わりに4つのモデルの歪みによって劣化する。
関連論文リスト
- Sparse Recovery Bird's-Eye View Model Soup for Robust Camera-Based 3D Object Detection [7.568330842075295]
本稿では,余分なデータやアーキテクチャの変更を必要とせずに,清潔な精度と汚損性を改善する,スパースリカバリ学習手法を提案する。
提案手法は, 階層単位の重み度に基づいてプルーニング候補を特定し, ランダムプルーニングを適用し, 多様なスパースモデルを作成し, ランダムサンプル学習率で各モデルを再学習する。
nuScenesデータセットの実験では、汚職の堅牢性は最大33.8%向上し、Fast-BEVベースラインよりも1.8%向上した。
論文 参考訳(メタデータ) (2026-10-26T07:49:42Z) - Text-Guided Diffusion-Based Adversarial Attacks on Chest X-Ray Images [1.167393095135318]
本稿では,拡散生成器とターゲット分類器を凍結したまま,学習可能なテキスト条件付けを最適化するテキスト誘導拡散ベース対向フレームワークを提案する。
AUROCはバイナリ分類では0.3885-0.5646、マルチディスリーズ設定では0.4441-0.4878に低下した。
これらの結果は、人間と機械の解釈に臨床的に重要な相違があることを示し、従来のピクセル空間攻撃を超えて、医療AIの堅牢性評価を拡張する必要性を示している。
論文 参考訳(メタデータ) (2026-08-29T22:19:04Z) - Physically-Induced Atmospheric Adversarial Perturbations: Enhancing Transferability and Robustness in Remote Sensing Image Classification [54.952203312050564]
敵対的攻撃は、リモートセンシング(RS)画像分類におけるディープラーニングモデルの信頼性に深刻な脅威をもたらす。
本稿ではフォグフール(FogFool)を提案する。
2つのベンチマークRSデータセットの実験は、FogFoolが優れたパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2026-04-16T05:47:57Z) - A Heterogeneous Ensemble for Multi-Center COVID-19 Classification from Chest CT Scans [0.39998518782208775]
3つの推論パラダイムにまたがる9つのモデルの異種アンサンブルを示す。
アンサンブルは4つの病院センターで平均0.9280のマクロF1を達成し、最高のシングルモデルを上回っている。
論文 参考訳(メタデータ) (2026-03-15T21:34:59Z) - Blind Ultrasound Image Enhancement via Self-Supervised Physics-Guided Degradation Modeling [4.619828919345113]
監視強化手法は、クリーンターゲットや既知の劣化へのアクセスを前提としている。
本稿では,Bモード画像の変換・復調を行うブラインド型自己教師型拡張フレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-29T15:28:25Z) - On the Problem of Consistent Anomalies in Zero-Shot Industrial Anomaly Detection [0.0]
類似性計算から一貫した異常を識別・フィルタリングする新しいアルゴリズムであるConsistent-Anomaly Detection Graph (CoDeGraph)を導入する。
CoDeGraphはイメージレベルのグラフを構築し、イメージをノードとして、エッジを共通の一貫したアノマリーパターンで接続する。
ViT-L-14-336バックボーンを用いたMVTec ADの実験では、AUROCが98.3%、ASが66.8%であった。
論文 参考訳(メタデータ) (2025-10-12T05:28:28Z) - CLIPure: Purification in Latent Space via CLIP for Adversarially Robust Zero-Shot Classification [65.46685389276443]
画像とテキストプロンプトをマッチングすることでゼロショット分類を行うことができる、視覚言語で事前訓練されたエンコーダモデルであるCLIPについて検討する。
次に, 共分散精製プロセス間のKL分散として精製リスクを定式化する。
画像の潜伏ベクトルの確率をモデル化するCLI-Diffと、画像の埋め込みとaの写真とのコサイン類似度をモデル化するCLI-Cosの2つのバリエーションを提案する。
論文 参考訳(メタデータ) (2025-02-25T13:09:34Z) - Significantly improving zero-shot X-ray pathology classification via fine-tuning pre-trained image-text encoders [50.689585476660554]
本稿では,正対損失緩和とランダムな文サンプリングを含む新たな微調整手法を提案する。
提案手法は,胸部X線データセットと3つの事前訓練モデル間のゼロショット病理分類を一貫して改善する。
論文 参考訳(メタデータ) (2022-12-14T06:04:18Z) - (Certified!!) Adversarial Robustness for Free! [116.6052628829344]
逆方向の摂動が0.5の2ノルム以内であることに制約された場合,ImageNetでは71%の精度が証明された。
これらの結果は,モデルパラメータの微調整や再学習を必要とせず,事前学習した拡散モデルと画像分類器のみを用いて得られる。
論文 参考訳(メタデータ) (2022-06-21T17:27:27Z) - Evading Deepfake-Image Detectors with White- and Black-Box Attacks [75.13740810603686]
一般的な法医学的アプローチは、ニューラルネットワークを訓練して、実際の合成内容と区別することを示します。
我々は,既存の画像生成装置の約0.95のLOC曲線(AUC)以下の領域を達成できる最先端の分類器に関する5つの攻撃事例研究を開発した。
また、ターゲット分類器にアクセスできないブラックボックス攻撃により、AUCを0.22に削減する。
論文 参考訳(メタデータ) (2020-04-01T17:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。