論文の概要: Cross-D Conv: Cross-Dimensional Transferable Knowledge Base via Fourier Shifting Operation

• arxiv url: http://arxiv.org/abs/2411.02441v3
• Date: Wed, 22 Jan 2025 18:23:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 13:29:44.245410
• Title: Cross-D Conv: Cross-Dimensional Transferable Knowledge Base via Fourier Shifting Operation
• Title（参考訳）: フーリエシフト操作によるクロス-D Conv:クロス-次元伝達可能な知識ベース
• Authors: Mehmet Can Yavuz, Yang Yang,
• Abstract要約: 生医学的画像解析では,2次元データと3次元データとの切り離しが重要な課題である。 本稿では,Fourier領域における位相シフトを学習することにより,次元ギャップを埋める新しいアプローチであるtexttCross-D Conv 操作を提案する。 本手法は2次元と3次元の畳み込み操作間のシームレスな重み移動を可能にする。
• 参考スコア（独自算出の注目度）: 3.69758875412828
• License:
• Abstract: In biomedical imaging analysis, the dichotomy between 2D and 3D data presents a significant challenge. While 3D volumes offer superior real-world applicability, they are less available for each modality and not easy to train in large scale, whereas 2D samples are abundant but less comprehensive. This paper introduces \texttt{Cross-D Conv} operation, a novel approach that bridges the dimensional gap by learning the phase shifting in the Fourier domain. Our method enables seamless weight transfer between 2D and 3D convolution operations, effectively facilitating cross-dimensional learning. The proposed architecture leverages the abundance of 2D training data to enhance 3D model performance, offering a practical solution to the multimodal data scarcity challenge in 3D medical model pretraining. Experimental validation on the RadImagenet (2D) and multimodal volumetric sets demonstrates that our approach achieves comparable or superior performance in feature quality assessment. The enhanced convolution operation presents new opportunities for developing efficient classification and segmentation models in medical imaging. This work represents an advancement in cross-dimensional and multimodal medical image analysis, offering a robust framework for utilizing 2D priors in 3D model pretraining while maintaining computational efficiency of 2D training.
• Abstract（参考訳）: 生医学的画像解析では,2次元データと3次元データとの切り離しが重要な課題である。 3Dボリュームは、より優れた実世界の適用性を提供するが、各モードでは利用できないため、大規模なトレーニングは容易ではない。 本稿では,フーリエ領域における位相シフトを学習することによって次元ギャップを橋渡しする新しい手法である「texttt{Cross-D Conv}」を提案する。 本手法は2次元と3次元の畳み込み操作間のシームレスな重み移動を可能にする。 提案アーキテクチャは,3次元医療モデルの事前トレーニングにおけるマルチモーダルデータ不足問題に対する実用的な解決策を提供するため,2次元トレーニングデータの豊富さを活用して3次元モデル性能を向上させる。 RadImagenet (2D) とマルチモーダル・ボリューム・セットの実験的検証により,本手法が特徴量評価において同等あるいは優れた性能を実現することを示す。 拡張畳み込み手術は、医用画像における効率的な分類とセグメンテーションモデルを開発するための新たな機会を提供する。 本研究は,2次元トレーニングの計算効率を維持しつつ,3次元モデルの事前学習における2次元事前学習を活用するための堅牢な枠組みを提供する,クロス次元およびマルチモーダルな医用画像解析の進歩を示す。

関連論文リスト

• Enhancing Single-Slice Segmentation with 3D-to-2D Unpaired Scan Distillation [21.69523493833432]
  本研究では, 事前学習した3次元モデルを用いて, 2次元単一スライスセグメンテーションを向上する新しい3D-to-2D蒸留フレームワークを提案する。 同じデータ入力を必要とする従来の知識蒸留法とは異なり、我々のアプローチでは、2次元の学生モデルをガイドするために、コントラストのない3次元CTスキャンを採用しています。
  論文  参考訳（メタデータ） (2024-06-18T04:06:02Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Interpretable 2D Vision Models for 3D Medical Images [47.75089895500738]
  本研究では,3次元画像処理における中間特徴表現を用いた2次元ネットワークの適応手法を提案する。 我々は、ベンチマークとして3D MedMNISTデータセットと、既存の手法に匹敵する数百の高分解能CTまたはMRIスキャンからなる2つの実世界のデータセットを示す。
  論文  参考訳（メタデータ） (2023-07-13T08:27:09Z)
• Video Pretraining Advances 3D Deep Learning on Chest CT Tasks [63.879848037679224]
  大規模自然画像分類データセットの事前学習は、データスカース2D医療タスクのモデル開発に役立っている。 これらの2Dモデルは、3Dコンピュータビジョンベンチマークで3Dモデルに勝っている。 3Dモデルのためのビデオ事前トレーニングにより、より小さなデータセットでより高性能な3D医療タスクを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-04-02T14:46:58Z)
• Improving 3D Imaging with Pre-Trained Perpendicular 2D Diffusion Models [52.529394863331326]
  本稿では,2つの垂直2次元拡散モデルを用いて3次元逆問題の解法を提案する。 MRI Z軸超解像, 圧縮センシングMRI, スパースCTなどの3次元医用画像再構成作業に有効である。
  論文  参考訳（メタデータ） (2023-03-15T08:28:06Z)
• Adapting Pre-trained Vision Transformers from 2D to 3D through Weight Inflation Improves Medical Image Segmentation [19.693778706169752]
  我々は2Dから3Dに事前訓練されたトランスフォーマーを適応させるために重量インフレーション戦略を使用し、トランスファーラーニングと深度情報の両方の利点を維持している。 提案手法は,幅広い3次元医用画像データセットを対象とした最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-02-08T19:38:13Z)
• RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
  カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。 表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
  論文  参考訳（メタデータ） (2022-05-14T05:35:35Z)
• Super Images -- A New 2D Perspective on 3D Medical Imaging Analysis [0.0]
  トレーニング中に3次元知識を効率的に埋め込んで3次元データを扱うための,シンプルで効果的な2次元手法を提案する。 本手法は3次元画像にスライスを並べて超高分解能画像を生成する。 2次元ネットワークのみを利用した3次元ネットワークを実現する一方で、モデルの複雑さはおよそ3倍に減少する。
  論文  参考訳（メタデータ） (2022-05-05T09:59:03Z)
• Advancing 3D Medical Image Analysis with Variable Dimension Transform based Supervised 3D Pre-training [45.90045513731704]
  本稿では,革新的でシンプルな3Dネットワーク事前学習フレームワークを再考する。 再設計された3Dネットワークアーキテクチャにより、データ不足の問題に対処するために、修正された自然画像が使用される。 4つのベンチマークデータセットに関する総合的な実験により、提案した事前学習モデルが収束を効果的に加速できることが示されている。
  論文  参考訳（メタデータ） (2022-01-05T03:11:21Z)
• 2.75D: Boosting learning by representing 3D Medical imaging to 2D features for small data [54.223614679807994]
  3D畳み込みニューラルネットワーク(CNN)は、多くのディープラーニングタスクにおいて、2D CNNよりも優れたパフォーマンスを示し始めている。 3D CNNにトランスファー学習を適用することは、パブリックにトレーニング済みの3Dモデルがないために困難である。 本研究では,ボリュームデータの2次元戦略的表現,すなわち2.75Dを提案する。 その結果,2次元CNNネットワークをボリューム情報学習に用いることが可能となった。
  論文  参考訳（メタデータ） (2020-02-11T08:24:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。