論文の概要: GET: Generative Embedding Translation for Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2608.22619v1
- Date: Sun, 23 Aug 2026 21:49:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.804301
- Title: GET: Generative Embedding Translation for Medical Image Segmentation
- Title(参考訳): GET:医療画像セグメンテーションのための生成的埋め込み翻訳
- Abstract要約: Generative Embedding Translation (GET)は、画像埋め込みをマスク埋め込みに変換する構造化埋め込み翻訳フレームワークである。
GETは、生成、CNN、Transformerベースラインを5つの医療セグメントデータセットで上回る。
- 参考スコア(独自算出の注目度): 12.16501148893177
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative segmentation provides an alternative to direct pixel-wise prediction by operating on learned latent representations, but effective image-to-mask translation must preserve target structure while remaining computationally efficient. We propose Generative Embedding Translation (GET), a structured embedding-translation framework that progressively transforms image embeddings into mask embeddings within the frozen latent space of a Stable Diffusion VAE. GET uses a U-Net-style Embedding Translation Network with 1.07M trainable parameters, combining Mobile Bottleneck Convolutions, Subsampled Self-Attention, and Multi-scale Feature Enrichment for local modeling, global context, and multi-scale refinement. Across five medical segmentation datasets, GET outperforms generative, CNN, and Transformer baselines. Compared with the strongest generative baseline, GMS, GET improves average Dice and IoU by 0.93% and 1.26%, reduces HD95 by 0.81 pixels, and uses 31.41% fewer trainable parameters. Under bidirectional BUS-BUSI domain shift, GET further improves Dice and IoU by 3.51% and 3.39%, while reducing HD95 by 27.37 pixels. Our code is available at: https://github.com/maklachur/GET.
- Abstract(参考訳): 生成セグメンテーションは、学習した潜在表現を操作することで、直接ピクセル単位の予測に代わるものを提供するが、効率的な画像とマスクの変換は、計算効率を保ちながらターゲット構造を保存する必要がある。
本稿では,画像埋め込みを安定拡散VAEの冷凍潜伏空間内のマスク埋め込みに段階的に変換する構造的埋め込み翻訳フレームワークであるGenerative Embeding Translation (GET)を提案する。
GETはU-Netスタイルの埋め込み翻訳ネットワークに1.07Mのトレーニング可能なパラメータを持ち、Mobile Bottleneck Convolutions、Subsampled Self-Attention、ローカルモデリング、グローバルコンテキスト、マルチスケール機能強化を組み合わせた。
5つの医療セグメンテーションデータセットにまたがって、GETは生成、CNN、Transformerベースラインを上回っている。
GMSと比較して、GETは平均的なDiceとIoUを0.93%、1.26%改善し、HD95を0.81ピクセル削減し、トレーニング可能なパラメータを31.41%削減した。
双方向のBUS-BUSIドメインシフトでは、GETはさらにDiceとIoUを3.51%、IoUを3.39%改善し、HD95を27.37ピクセル削減した。
私たちのコードは、https://github.com/maklachur/GET.orgで利用可能です。
関連論文リスト
- FLAT: Resampling Image and Text into 1D Flexible-Length Aligned Transmodal Tokens for Retrieval and Generation [29.59094476146176]
Flatは、共有マルチモーダルエンコーダと、下流のテキスト・トゥ・イメージ(T2I)と画像・トゥ・テキスト(I2T)デコーダを共同で最適化する、表現事前トレーニングフレームワークである。
単一の事前学習段階により、FLATは可変プレフィックスKをまたいでクロスモーダル検索および生成を行い、T2I GenEvalスコア71.1を達成する。
論文 参考訳(メタデータ) (2026-09-15T03:35:59Z) - Diffusion Image Generation with Explicit Modeling of Data Manifold Geometry [64.61931485161833]
画像生成モデルは、基礎となるデータ多様体からデータポイントをサンプリングすることを目的としている。
データマニフォールド対応画像差分法(MIND)を提案する。
MINDは離散パッチトークン化を連続拡散モデルのスコア関数に統合する。
論文 参考訳(メタデータ) (2026-05-25T08:43:14Z) - FractMorph: A Fractional Fourier-Based Multi-Domain Transformer for Deformable Image Registration [0.6683923149620578]
クロスイメージ特徴マッチングを向上する新しい3次元デュアル並列変換器アーキテクチャであるFractMorphを提案する。
軽量なU-Netスタイルのネットワークは、変換器に富んだ特徴から密度変形場を予測する。
その結果、FractMorphは、全体のDice similarity Coefficient(DSC)が86.45%$、平均1構造が75.15%$、95セントのHausdorff(HD95)が1.54mathrmmm$で、最先端のパフォーマンスを達成した。
論文 参考訳(メタデータ) (2025-08-17T17:42:10Z) - FTCFormer: Fuzzy Token Clustering Transformer for Image Classification [22.410199372985584]
トランスフォーマーベースのディープニューラルネットワークは、様々なコンピュータビジョンタスクで顕著な成功を収めている。
ほとんどのトランスフォーマーアーキテクチャは、イメージを均一なグリッドベースの視覚トークンに埋め込み、画像領域の基本的な意味を無視する。
本研究では,空間的位置ではなく意味に基づく視覚トークンを動的に生成するFuzzy Token Clustering Transformer (FTCFormer)を提案する。
論文 参考訳(メタデータ) (2025-07-14T13:49:47Z) - Image Translation with Kernel Prediction Networks for Semantic Segmentation [32.009158106709805]
Domain Adversarial Kernel Prediction Networkは、合成ラベルと翻訳のセマンティックマッチングを保証する。
DA-KPNは、実画像ラベルへのアクセスが制限されたセマンティックセグメンテーションのためのSyn2realベンチマークにおいて、従来のGANベースの手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2025-07-11T12:56:22Z) - Token-Shuffle: Towards High-Resolution Image Generation with Autoregressive Models [92.18057318458528]
Token-ShuffleはTransformerにおける画像トークンの数を減らす新しい方法である。
我々の戦略は、事前訓練されたテキストエンコーダを必要とせず、MLLMが超高解像度画像合成をサポートできるようにする。
GenAIベンチマークでは、2.7Bモデルがハードプロンプトで0.77点、ARモデルLlamaGenが0.18点、拡散モデルLDMが0.15点である。
論文 参考訳(メタデータ) (2025-04-24T17:59:56Z) - Language-Guided Image Tokenization for Generation [63.0859685332583]
TexTokは、言語を利用してコンパクトでハイレベルなセマンティック表現を提供する、シンプルで効果的なトークン化フレームワークである。
TexTokはテキスト条件のない従来のトークン化ツールと比較して、ImageNet-256と-512ベンチマークでそれぞれ29.2%と48.1%のFIDの改善を実現している。
バニラ DiT ジェネレータを備えた TexTok は、ImageNet-256 と -512 でそれぞれ 1.46 と 1.62 の最先端 FID スコアを達成している。
論文 参考訳(メタデータ) (2024-12-08T03:18:17Z) - BEiT v2: Masked Image Modeling with Vector-Quantized Visual Tokenizers [117.79456335844439]
マスク付き予測のための再構成ターゲットとして,セマンティックリッチなビジュアルトークン化器を提案する。
次に、マスクされた画像パッチに対する元の視覚トークンを予測して、視覚変換器を事前訓練する。
画像分類とセマンティックセグメンテーションの実験は、我々のアプローチがMIM法よりも優れていることを示している。
論文 参考訳(メタデータ) (2022-08-12T16:48:10Z) - Global Context Vision Transformers [78.5346173956383]
我々は,コンピュータビジョンのパラメータと計算利用を向上する新しいアーキテクチャであるGC ViT(Global context vision transformer)を提案する。
本稿では,ViTにおける帰納バイアスの欠如に対処し,アーキテクチャにおける可溶性逆残差ブロックを改良して活用することを提案する。
提案したGC ViTは,画像分類,オブジェクト検出,セマンティックセマンティックセグメンテーションタスクにまたがる最先端の処理結果を実現する。
論文 参考訳(メタデータ) (2022-06-20T18:42:44Z) - Pyramid Fusion Transformer for Semantic Segmentation [44.57867861592341]
マルチスケール特徴量を持つマスク毎のセマンティックセマンティックセグメンテーションのためのトランスフォーマベースピラミッドフュージョントランス (PFT) を提案する。
広く使われている3つのセマンティックセグメンテーションデータセット上での競合性能を実現する。
論文 参考訳(メタデータ) (2022-01-11T16:09:25Z) - CoTr: Efficiently Bridging CNN and Transformer for 3D Medical Image
Segmentation [95.51455777713092]
畳み込みニューラルネットワーク(CNN)は、現代の3D医療画像セグメンテーションのデファクトスタンダードとなっている。
本稿では,bf畳み込みニューラルネットワークとbfトランスbf(cotr)を効率良く橋渡しし,正確な3次元医用画像分割を実現する新しい枠組みを提案する。
論文 参考訳(メタデータ) (2021-03-04T13:34:22Z) - Unified cross-modality feature disentangler for unsupervised
multi-domain MRI abdomen organs segmentation [3.3504365823045044]
我々の貢献は、多領域画像翻訳と複数の臓器セグメント化のための、一貫したクロスモダリティ特徴分離アプローチである。
ラベル付きソースドメインとしてCTを用いることで,ラベル付きデータを持たないマルチモーダルMRI(T1重み,T2重み)を抽出する。
提案手法により,T1wでは0.85,T2wMRIでは0.90のDice類似係数が得られた。
論文 参考訳(メタデータ) (2020-07-19T13:33:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。