論文の概要: MTVNet: Mapping using Transformers for Volumes -- Network for Super-Resolution with Long-Range Interactions

• arxiv url: http://arxiv.org/abs/2412.03379v2
• Date: Mon, 09 Dec 2024 10:06:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:53:35.189488
• Title: MTVNet: Mapping using Transformers for Volumes -- Network for Super-Resolution with Long-Range Interactions
• Title（参考訳）: MTVNet: Transformer for Volumes を用いたマッピング -- ロングレンジインタラクションによる超解法ネットワーク
• Authors: August Leander Høeg, Sophia W. Bardenfleth, Hans Martin Kjer, Tim B. Dyrby, Vedrana Andersen Dahl, Anders Dahl,
• Abstract要約: ボリューム超解像は、2次元超解像に見られるトランスフォーマーモデルにおける最近の進歩を利用するのが困難である。 階層型アテンションブロックと複数のスケールのキャリアトークンを組み合わせたマルチスケールトランスフォーマーモデルを提案する。 提案手法であるMTVNetを、5つの3次元データセット上の最先端のボリューム超解像モデルと比較した。
• 参考スコア（独自算出の注目度）: 4.0602274934844615
• License:
• Abstract: Until now, it has been difficult for volumetric super-resolution to utilize the recent advances in transformer-based models seen in 2D super-resolution. The memory required for self-attention in 3D volumes limits the receptive field. Therefore, long-range interactions are not used in 3D to the extent done in 2D and the strength of transformers is not realized. We propose a multi-scale transformer-based model based on hierarchical attention blocks combined with carrier tokens at multiple scales to overcome this. Here information from larger regions at coarse resolution is sequentially carried on to finer-resolution regions to predict the super-resolved image. Using transformer layers at each resolution, our coarse-to-fine modeling limits the number of tokens at each scale and enables attention over larger regions than what has previously been possible. We experimentally compare our method, MTVNet, against state-of-the-art volumetric super-resolution models on five 3D datasets demonstrating the advantage of an increased receptive field. This advantage is especially pronounced for images that are larger than what is seen in popularly used 3D datasets. Our code is available at https://github.com/AugustHoeg/MTVNet
• Abstract（参考訳）: これまで、2次元超解像で見られるトランスフォーマーモデルにおける最近の進歩を活用することは、ボリューム超解像において困難であった。 3Dボリュームでの自己保持に必要なメモリは、受容野を制限する。 したがって、長距離相互作用は2次元の程度まで3次元では使われず、変圧器の強度は実現されない。 階層型アテンションブロックと複数のスケールのキャリアトークンを組み合わせたマルチスケールトランスフォーマーモデルを提案する。 ここでは、大分解能の広い領域からの情報をより微細な解像度の領域に順次実行し、超解像を予測する。 各解像度での変圧器層を用いて、粗大なモデリングにより、各スケールでのトークンの数を制限し、これまで可能だったよりも大きな領域への注目を可能にする。 提案手法であるMTVNetを、5つの3次元データセット上の最先端の超解像モデルと比較し、受容場の増加の利点を実証した。 この利点は、一般的な3Dデータセットで見られるものよりも大きい画像に対して特に顕著である。 私たちのコードはhttps://github.com/AugustHoeg/MTVNetで利用可能です。

関連論文リスト

• Any2Point: Empowering Any-modality Large Models for Efficient 3D Understanding [83.63231467746598]
  我々は,Any2Pointというパラメータ効率のよい大規模モデル(ビジョン,言語,音声)を3次元理解に活用する手法を紹介した。 入力された3Dポイントと元の1Dまたは2D位置との相関関係を示す3D-to-any (1Dまたは2D)仮想プロジェクション戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-11T17:59:45Z)
• Monocular Scene Reconstruction with 3D SDF Transformers [17.565474518578178]
  本研究では,より優れた3次元特徴集約のために3次元CNNを代替するSDFトランスフォーマーネットワークを提案する。 複数のデータセットの実験により、この3Dトランスフォーマーネットワークはより正確で完全な再構成を生成することが示された。
  論文  参考訳（メタデータ） (2023-01-31T09:54:20Z)
• Memory transformers for full context and high-resolution 3D Medical Segmentation [76.93387214103863]
  本稿では,この問題を克服するために,Full resolutIoN mEmory (FINE) 変換器を提案する。 FINEの基本的な考え方は、メモリトークンを学習して、フルレンジインタラクションを間接的にモデル化することだ。 BCV画像セグメンテーションデータセットの実験は、最先端のCNNやトランスフォーマーベースラインよりも優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2022-10-11T10:11:05Z)
• Bridged Transformer for Vision and Point Cloud 3D Object Detection [92.86856146086316]
  Bridged Transformer (BrT) は、3Dオブジェクト検出のためのエンドツーエンドアーキテクチャである。 BrTは3Dオブジェクトと2Dオブジェクトのバウンディングボックスを、ポイントとイメージパッチの両方から識別する。 BrTがSUN RGB-DおよびScanNetV2データセットの最先端手法を上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T05:44:22Z)
• MISSU: 3D Medical Image Segmentation via Self-distilling TransUNet [55.16833099336073]
  医用画像セグメンテーションのためのトランスフォーマーベースUNetを提案する。 グローバルな意味情報と局所的な空間的詳細特徴を同時に学習する。 MISSUは従来の最先端手法よりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2022-06-02T07:38:53Z)
• PatchFormer: A Versatile 3D Transformer Based on Patch Attention [0.358439716487063]
  我々は、アテンションマップが計算されるより小さなベースセットを適応的に学習するためにパッチアテンションを導入する。 これらの基底に対する重み付けの和により、パッチアテンションはグローバルな形状のコンテキストをキャプチャするだけでなく、入力サイズに対する線形複雑度も達成する。 我々のネットワークは,従来の3Dトランスよりも7.3倍のスピードアップで,一般的な3D認識タスクにおいて高い精度を実現している。
  論文  参考訳（メタデータ） (2021-10-30T08:39:55Z)
• AFTer-UNet: Axial Fusion Transformer UNet for Medical Image Segmentation [19.53151547706724]
  トランスをベースとしたモデルは、医療画像セグメンテーションにおけるこれらの手法の探求に注目されている。 本稿では、畳み込み層の長周期モデリングにおける詳細特徴抽出能力と変圧器強度の両面を活かしたAxial Fusion Transformer UNet(AFTer-UNet)を提案する。 パラメータが少なく、GPUメモリのトレーニングも従来のトランスフォーマーベースのモデルよりも少ない。
  論文  参考訳（メタデータ） (2021-10-20T06:47:28Z)
• CoTr: Efficiently Bridging CNN and Transformer for 3D Medical Image Segmentation [95.51455777713092]
  畳み込みニューラルネットワーク(CNN)は、現代の3D医療画像セグメンテーションのデファクトスタンダードとなっている。 本稿では,bf畳み込みニューラルネットワークとbfトランスbf(cotr)を効率良く橋渡しし,正確な3次元医用画像分割を実現する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T13:34:22Z)
• Pix2Vox++: Multi-scale Context-aware 3D Object Reconstruction from Single and Multiple Images [56.652027072552606]
  Pix2Vox++という,単一ビューと複数ビューの3Dオブジェクト再構成のための新しいフレームワークを提案する。 良く設計されたエンコーダデコーダを用いて、各入力画像から粗い3Dボリュームを生成する。 次に、マルチスケールコンテキスト対応融合モジュールを導入し、全ての粗い3Dボリュームから異なる部分の高品質な再構成を適応的に選択し、融合した3Dボリュームを得る。
  論文  参考訳（メタデータ） (2020-06-22T13:48:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。