論文の概要: FEAT: Full-Dimensional Efficient Attention Transformer for Medical Video Generation

• arxiv url: http://arxiv.org/abs/2506.04956v1
• Date: Thu, 05 Jun 2025 12:31:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.696607
• Title: FEAT: Full-Dimensional Efficient Attention Transformer for Medical Video Generation
• Title（参考訳）: FEAT:医療用ビデオ生成用全次元能動注意変換器
• Authors: Huihan Wang, Zhiwen Yang, Hui Zhang, Dan Zhao, Bingzheng Wei, Yan Xu,
• Abstract要約: 高品質なダイナミック・メディカル・ビデオのためのフル次元能動的アテンション・トランスフォーマであるFEATを提案する。 FEAT-Sは、最先端モデルのEndoraのパラメータのわずか23%しか持たないが、同等またはそれ以上の性能を発揮することを示した。
• 参考スコア（独自算出の注目度）: 14.903360987684483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synthesizing high-quality dynamic medical videos remains a significant challenge due to the need for modeling both spatial consistency and temporal dynamics. Existing Transformer-based approaches face critical limitations, including insufficient channel interactions, high computational complexity from self-attention, and coarse denoising guidance from timestep embeddings when handling varying noise levels. In this work, we propose FEAT, a full-dimensional efficient attention Transformer, which addresses these issues through three key innovations: (1) a unified paradigm with sequential spatial-temporal-channel attention mechanisms to capture global dependencies across all dimensions, (2) a linear-complexity design for attention mechanisms in each dimension, utilizing weighted key-value attention and global channel attention, and (3) a residual value guidance module that provides fine-grained pixel-level guidance to adapt to different noise levels. We evaluate FEAT on standard benchmarks and downstream tasks, demonstrating that FEAT-S, with only 23\% of the parameters of the state-of-the-art model Endora, achieves comparable or even superior performance. Furthermore, FEAT-L surpasses all comparison methods across multiple datasets, showcasing both superior effectiveness and scalability. Code is available at https://github.com/Yaziwel/FEAT.
• Abstract（参考訳）: 高品質なダイナミックな医療ビデオの合成は、空間的一貫性と時間的ダイナミクスの両方をモデル化する必要があるため、依然として大きな課題である。 既存のTransformerベースのアプローチでは、チャネル間通信が不十分なこと、自己アテンションからの高い計算複雑性、様々なノイズレベルを扱う際の時間ステップ埋め込みからの粗いデノイングガイダンスなど、重要な制限に直面している。 本研究では,これらの課題を,(1)全次元にわたるグローバル依存性を捉えるための逐次的空間的・時間的アテンション機構を備えた統一パラダイム,(2)重み付きキーバリューアテンションとグローバルチャネルアテンションを利用した,各次元におけるアテンション機構のための線形複雑度設計,(3)異なるノイズレベルに対応するための細粒度画素レベルのガイダンスを提供する残留値ガイダンスモジュールであるFEATを提案する。 我々は、FEATを標準ベンチマークと下流タスクで評価し、最先端モデルのEndoraのパラメータのわずか23倍のFEAT-Sで、同等またはそれ以上の性能が得られることを示した。 さらに、FEAT-Lは複数のデータセットにまたがるすべての比較手法を超越し、優れた効率性とスケーラビリティを示している。 コードはhttps://github.com/Yaziwel/FEAT.comで入手できる。

関連論文リスト

• FUSE: Label-Free Image-Event Joint Monocular Depth Estimation via Frequency-Decoupled Alignment and Degradation-Robust Fusion [63.87313550399871]
  画像強調共同深度推定法は、頑健な知覚に相補的なモダリティを利用するが、一般化可能性の課題に直面している。 自己監督型転送(PST)と周波数デカップリング型フュージョンモジュール(FreDF)を提案する。 PSTは、画像基礎モデルと潜在空間アライメントによるクロスモーダルな知識伝達を確立する。 FreDFは、低周波構造成分から高周波エッジ特性を明示的に分離し、モード比周波数ミスマッチを解消する。
  論文  参考訳（メタデータ） (2025-03-25T15:04:53Z)
• Transformer Meets Twicing: Harnessing Unattended Residual Information [2.1605931466490795]
  トランスフォーマーベースのディープラーニングモデルは、多くの言語やビジョンタスクで最先端のパフォーマンスを達成した。 自己注意機構は複雑なデータパターンを扱えることが証明されているが、注意行列の表現能力はトランスフォーマー層間で著しく低下する。 本研究では,NLM平滑化の低パス動作を軽減するため,非パラメトリック回帰におけるカーネルツイシング手順を用いた新しいアテンション機構であるTwicing Attentionを提案する。
  論文  参考訳（メタデータ） (2025-03-02T01:56:35Z)
• Boosting ViT-based MRI Reconstruction from the Perspectives of Frequency Modulation, Spatial Purification, and Scale Diversification [6.341065683872316]
  ViTは、画像の高周波成分を捉えるのに苦労し、局所的なテクスチャやエッジ情報を検出する能力を制限する。 コンテンツ中の関連トークンと非関連トークンのうち、MSA(Multi-head self-attention)を計算する。 ViTsのフィードフォワードネットワークは、画像復元に重要なマルチスケール情報をモデル化することができない。
  論文  参考訳（メタデータ） (2024-12-14T10:03:08Z)
• Mutual Information-driven Triple Interaction Network for Efficient Image Dehazing [54.168567276280505]
  画像デハージングのための相互情報駆動型トリプルインタラクションネットワーク(MITNet)を提案する。 振幅誘導ヘイズ除去と呼ばれる第1段階は、ヘイズ除去のためのヘイズ画像の振幅スペクトルを復元することを目的としている。 第2段階は位相誘導構造が洗練され、位相スペクトルの変換と微細化を学ぶことに尽力した。
  論文  参考訳（メタデータ） (2023-08-14T08:23:58Z)
• Hybrid Spectral Denoising Transformer with Guided Attention [34.34075175179669]
  ハイブリットスペクトルデノナイジング用ハイブリットスペクトルデノナイジングトランス(HSDT)を提案する。 我々のHSDTは、計算オーバーヘッドを低く保ちながら、既存の最先端手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-03-16T02:24:31Z)
• UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
  本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。 我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。 Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
  論文  参考訳（メタデータ） (2022-12-08T18:59:57Z)
• Joint Spatial-Temporal and Appearance Modeling with Transformer for Multiple Object Tracking [59.79252390626194]
  本稿ではTransSTAMという新しい手法を提案する。Transformerを利用して各オブジェクトの外観特徴とオブジェクト間の空間的時間的関係の両方をモデル化する。 提案手法はMOT16, MOT17, MOT20を含む複数の公開ベンチマークで評価され, IDF1とHOTAの両方で明確な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-05-31T01:19:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。