論文の概要: Learning Features, Not Layouts: Feature-Axis Attention as a Transfer Prior for Medical Imaging

• arxiv url: http://arxiv.org/abs/2610.13012v1
• Date: Fri, 09 Oct 2026 05:16:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.39952
• Title: Learning Features, Not Layouts: Feature-Axis Attention as a Transfer Prior for Medical Imaging
• Title（参考訳）: レイアウトではなく, 学習の特徴: 医用画像の伝達に先立つ特徴軸の注意
• Abstract要約: 空間から特徴軸へグローバルな注意を移すことは、本質的にスクラッチ性能を損なうことが判明した。 Identical ImageNet事前トレーニングでは、転送利得の約3倍の利得が得られる。
• 参考スコア（独自算出の注目度）: 0.3683202928838613
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural-image-pretrained foundation models are increasingly adapted to medical imaging, yet transfer remains unreliable under domain shift, modality heterogeneity, and label scarcity. We trace part of this fragility to an overlooked design choice. Standard vision transformers place all global modeling on self-attention over spatial tokens, an object-layout prior well suited to natural scenes but not to medical images, where the discriminative signal lies in feature correlations and texture that recur across scanners while layout does not. We ask whether the axis of global attention, spatial versus feature, is itself a lever for transferable medical representations. Existing channel-aware hybrids confound this question, adding channel attention to a spatially-mixed backbone and leaving the axes coupled and the feature axis unmeasurable in isolation. We design FAD-ViT, a backbone that strictly decouples the two axes, making feature-axis attention the primary global operator and the attention axis a controlled variable. Evaluating comprehensively across 23 classification, segmentation, and low-data tasks under matched tokenization, capacity, and protocol, we find that shifting global attention from the spatial to the feature axis leaves from-scratch performance essentially unchanged, yet markedly strengthens transfer. Identical ImageNet pretraining yields up to roughly three times the transfer gain, with consistent improvements on every held-out segmentation task at up to a quarter the parameter count and far lower compute than standard and channel-attention baselines. The advantage is largest where texture rather than geometry is discriminative, tracking greater reuse of pretrained features. The axis of global attention is thus a design lever for medical transfer, and making it channel-primary is a simple, cheap, and principled choice.
• Abstract（参考訳）: 自然像に制限された基礎モデルは、医療画像に適応する傾向にあるが、ドメインシフト、モダリティの不均一性、ラベル不足により、転送は信頼性が低いままである。 この脆弱性の一部は、見過ごされた設計選択に遡ります。 標準的な視覚変換器は、すべてのグローバルなモデリングを空間トークン上の自己注意に配置する。これは、自然のシーンに向いているが医療画像には向いていないオブジェクトレイアウトである。 我々は、世界的注目の軸、空間的対特徴が、伝達可能な医療表現のレバーであるかどうかを問う。 既存のチャネル認識ハイブリッドは、この疑問を解決し、空間的に混合されたバックボーンにチャネルの注意を付加し、軸が結合され、特徴軸が独立して測定できないままにしておく。 我々は、2つの軸を厳密に分離するバックボーンであるFAD-ViTを設計し、特徴軸を主グローバル演算子とし、注目軸を制御変数とする。 トークン化,キャパシティ,プロトコルの下での23の分類,セグメンテーション,低データタスクを包括的に評価した結果,空間から特徴軸へのグローバルな注目の移り変わりは本質的に変化しないものの,転送を著しく強化することがわかった。 Identical ImageNetプレトレーニングは、転送ゲインの最大3倍の精度で、保持された各セグメンテーションタスクを最大4分の1のパラメータカウントで一貫した改善と、標準およびチャネルアテンションベースラインよりもはるかに低い計算を行う。 利点は、幾何学よりもテクスチャが差別的であり、事前訓練された特徴のさらなる再利用を追跡することである。 グローバルアテンションの軸は医療移転のためのデザインレバーであり、チャネルプライマリはシンプルで安価で原則化された選択である。

関連論文リスト

• Exploring Attention Sinks in Text-to-Image Transformers from Diffusion and Autoregressive Models [39.10005927227575]
  我々は、注意シンクが存在するか、どのように出現するか、そしてそれらが生成にどう影響するかを調査する。 双方向拡散モデルと自己回帰モデルの両方に注意シンクが出現するが、異なるパターンが現れる。 これらのパターンは生成段階によって異なり、レイヤーとヘッドのまばらなサブセットにローカライズされる。
  論文  参考訳（メタデータ） (2026-10-09T10:10:51Z)
• RASA: Disentangled Spatial-Motional Priors for Cross-Identity Character Animation [85.41886214825894]
  クロスアイデンティティキャラクタアニメーションは、基準画像からターゲットアイデンティティを駆動し、駆動ビデオからソースキャラクタの動きに従うことを目的としている。 本稿では,移動制御から空間マッピングを分離するフレームワークであるReference-Aware Structure Alignment (RASA)を紹介する。 我々の研究は、不整合空間と動きの先行がロバストなキャラクターアニメーションの鍵となることを示す新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2026-08-28T11:36:44Z)
• Topology-Driven Transferability Estimation for 3D Medical Vision Foundation Models [24.834339924064505]
  3次元医用画像における高密度予測タスクのためのボクセル・ワイド・フレームワークを提案する。 本フレームワークは,高密度特徴のスパース1-スケルトン幾何グラフと意味ラベルとのアライメントから,転送可能性を直接推定する。 本フレームワークは,平均重み付きケンドール(0.36)を56倍の速度で評価しながら,最先端の転写性評価を実現する。
  論文  参考訳（メタデータ） (2026-07-05T09:45:18Z)
• TransDAE: Dual Attention Mechanism in a Hierarchical Transformer for Efficient Medical Image Segmentation [7.013315283888431]
  医用画像のセグメンテーションは、正確な疾患診断と効果的な治療戦略の開発に不可欠である。 本稿では,トランスダエ(TransDAE)という,空間的・チャネル的関連性を含む自己認識機構を再定義する手法を紹介する。 注目すべきは、TransDAEがSynapsのマルチオーガナイズデータセット上で、既存の最先端メソッドより優れていることだ。
  論文  参考訳（メタデータ） (2024-09-03T16:08:48Z)
• Perspective+ Unet: Enhancing Segmentation with Bi-Path Fusion and Efficient Non-Local Attention for Superior Receptive Fields [19.71033340093199]
  本稿では,医療画像のセグメンテーションの限界を克服する新しいアーキテクチャであるspective+Unetを提案する。 このフレームワークは ENLTB という名前の効率的な非局所トランスフォーマーブロックを組み込んでおり、これはカーネル関数近似を利用して、効率的な長距離依存性キャプチャを行う。 ACDCとデータセットに関する実験結果から,提案したパースペクティブ+Unetの有効性が示された。
  論文  参考訳（メタデータ） (2024-06-20T07:17:39Z)
• Shifting Focus: From Global Semantics to Local Prominent Features in Swin-Transformer for Knee Osteoarthritis Severity Assessment [42.09313885494969]
  我々はSwin Transformerの能力を利用して階層的な枠組みを通じて画像内の空間的依存関係を識別する。 我々の新しい貢献は、局所的な特徴表現を精細化し、分類器の最終的な分布に特化することにある。 Knee osteoArthritis (KOA) グレード分類のための2つの確立されたベンチマークを広範囲に検証した結果,本モデルは有意な堅牢性と精度を示した。
  論文  参考訳（メタデータ） (2024-03-15T01:09:58Z)
• Two-Stream Graph Convolutional Network for Intra-oral Scanner Image Segmentation [133.02190910009384]
  本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。 TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
  論文  参考訳（メタデータ） (2022-04-19T10:41:09Z)
• Stochastic Layers in Vision Transformers [85.38733795180497]
  視覚変換器の完全な層を導入し,性能を著しく低下させることなく実現した。 この追加により、視覚機能の堅牢性が向上し、プライバシーが強化される。 私たちの機能は3つの異なるアプリケーション、すなわち、敵の堅牢性、ネットワークキャリブレーション、機能プライバシに使用しています。
  論文  参考訳（メタデータ） (2021-12-30T16:07:59Z)
• Cross-Modal Contrastive Learning for Abnormality Classification and Localization in Chest X-rays with Radiomics using a Feedback Loop [63.81818077092879]
  医療画像のためのエンドツーエンドのセミスーパーバイスドクロスモーダルコントラスト学習フレームワークを提案する。 まず、胸部X線を分類し、画像特徴を生成するために画像エンコーダを適用する。 放射能の特徴は別の専用エンコーダを通過し、同じ胸部x線から生成された画像の特徴の正のサンプルとして機能する。
  論文  参考訳（メタデータ） (2021-04-11T09:16:29Z)
• Channelized Axial Attention for Semantic Segmentation [70.14921019774793]
  チャネルアキシャルアテンション(CAA)を提案し、チャネルアテンションと軸アテンションをシームレスに統合し、計算複雑性を低減します。 私たちのCAAは、DANetのような他の注意モデルに比べて計算リソースをはるかに少なくするだけでなく、すべての検証済みデータセット上で最先端のResNet-101ベースのセグメンテーションモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-01-19T03:08:03Z)
• Weakly-Supervised Cross-Domain Adaptation for Endoscopic Lesions Segmentation [79.58311369297635]
  異なるデータセットにまたがるトランスファー可能なドメイン不変知識を探索できる,新しい弱い教師付き病巣移動フレームワークを提案する。 wasserstein quantified transferability frameworkは、広い範囲の転送可能なコンテキスト依存性を強調するために開発されている。 新規な自己監督型擬似ラベル生成器は、送信困難かつ転送容易なターゲットサンプルの両方に対して、確実な擬似ピクセルラベルを等しく提供するように設計されている。
  論文  参考訳（メタデータ） (2020-12-08T02:26:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。