論文の概要: Building 3D In-Context Learning Universal Model in Neuroimaging
- arxiv url: http://arxiv.org/abs/2503.02410v1
- Date: Tue, 04 Mar 2025 08:51:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-05 19:15:05.604056
- Title: Building 3D In-Context Learning Universal Model in Neuroimaging
- Title（参考訳）: ニューロイメージングにおける3次元インテクスト学習ユニバーサルモデルの構築
- Authors: Jiesi Hu, Hanyang Peng, Yanwu Yang, Xutao Guo, Yang Shang, Pengcheng Shi, Chenfei Ye, Ting Ma,
- Abstract要約: In-context Learning (ICL)は、普遍モデルの一種であり、再訓練なしに広範囲のタスクにまたがる例外的な一般化を示す。
既存のICLモデルは、2D画像を入力として取り込むが、神経画像の3D解剖学的構造を完全に活用することは困難である。
我々は,複数のニューロイメージングタスクを3Dで実行可能なICLモデルであるNeuroverse3Dを紹介する。
- 参考スコア（独自算出の注目度）: 6.777213578517701
- License:
- Abstract: In-context learning (ICL), a type of universal model, demonstrates exceptional generalization across a wide range of tasks without retraining by leveraging task-specific guidance from context, making it particularly effective for the complex demands of neuroimaging. However, existing ICL models, which take 2D images as input, struggle to fully leverage the 3D anatomical structures in neuroimages, leading to a lack of global awareness and suboptimal performance. In this regard, we introduce Neuroverse3D, an ICL model capable of performing multiple neuroimaging tasks (e.g., segmentation, denoising, inpainting) in 3D. Neuroverse3D overcomes the large memory consumption due to 3D inputs through adaptive parallel-sequential context processing and a U-shape fusion strategy, allowing it to handle an unlimited number of context images. Additionally, we propose an optimized loss to balance multi-task training and enhance the focus on anatomical structures. Our study incorporates 43,674 3D scans from 19 neuroimaging datasets and evaluates Neuroverse3D on 14 diverse tasks using held-out test sets. The results demonstrate that Neuroverse3D significantly outperforms existing ICL models and closely matches the performance of task-specific models. The code and model weights are publicly released at: https://github.com/jiesihu/Neu3D.
- Abstract（参考訳）: In-context Learning (ICL)は、コンテキストからタスク固有のガイダンスを活用することによって、タスクをトレーニングすることなく、幅広いタスクにまたがる例外的な一般化を実証し、神経イメージングの複雑な要求に対して特に効果的である。
しかし、既存のICLモデルは2D画像を入力として取り込んでおり、神経画像の3D解剖学的構造を完全に活用するのに苦労しており、世界的認識の欠如と準最適性能の欠如につながっている。
本稿では,複数のニューロイメージングタスク(例えば,セグメンテーション,デノイング,インペインティング)を3Dで行うことができるICLモデルであるNeuroverse3Dを紹介する。
Neuroverse3Dは、適応並列シーケンスコンテキスト処理とU字型融合戦略により、3D入力による大きなメモリ消費を克服し、無制限のコンテキストイメージを処理できる。
さらに、マルチタスクトレーニングのバランスを保ち、解剖学的構造に焦点を合わせるために最適化された損失を提案する。
本研究は、19個のニューロイメージングデータセットから43,674個の3Dスキャンを取り入れ、ホールドアウトテストセットを用いて14種類のタスクでニューロバース3Dを評価する。
その結果,Neuroverse3Dは既存のICLモデルよりも優れており,タスク固有モデルの性能と密に一致していることがわかった。
コードとモデルの重み付けは、https://github.com/jiesihu/Neu3D.comで公開されている。
関連論文リスト
- Implicit-Zoo: A Large-Scale Dataset of Neural Implicit Functions for 2D Images and 3D Scenes [65.22070581594426]
Implicit-Zoo"は、この分野の研究と開発を容易にするために、数千のGPUトレーニング日を必要とする大規模なデータセットである。
1)トランスモデルのトークン位置を学習すること、(2)NeRFモデルに関して直接3Dカメラが2D画像のポーズを取ること、である。
これにより、画像分類、セマンティックセグメンテーション、および3次元ポーズ回帰の3つのタスクすべてのパフォーマンスが向上し、研究のための新たな道が開けることになる。
論文 参考訳（メタデータ） (2024-06-25T10:20:44Z) - Self-Supervised Pretext Tasks for Alzheimer's Disease Classification using 3D Convolutional Neural Networks on Large-Scale Synthetic Neuroimaging Dataset [11.173478552040441]
アルツハイマー病(Alzheimer's Disease, AD)は、脳の局所的および広範な神経変性を誘導する疾患である。
本研究では、下流ADとCN分類のための特徴抽出器を訓練するための教師なし手法をいくつか評価した。
論文 参考訳（メタデータ） (2024-06-20T11:26:32Z) - Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。
我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。
予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
論文 参考訳（メタデータ） (2024-05-24T06:06:11Z) - Boosting 3D Neuron Segmentation with 2D Vision Transformer Pre-trained on Natural Images [10.790999324557179]
本研究では,大規模自然画像に事前学習した2次元視覚変換器モデルを活用する新しい訓練パラダイムを提案する。
本手法は,3次元ニューロンセグメンテーション能力を向上させるために,豊富な自然と希少なニューロン画像領域間の知識共有接続を構築する。
一般的なベンチマークであるBigNeuronで評価したところ、スクラッチからトレーニングしたモデルよりもニューロンのセグメンテーション性能が8.71%向上した。
論文 参考訳（メタデータ） (2024-05-04T14:57:28Z) - MinD-3D: Reconstruct High-quality 3D objects in Human Brain [50.534007259536715]
Recon3DMindは、fMRI(Functional Magnetic Resonance Imaging)信号から3次元視覚を再構成するための革新的なタスクである。
このデータセットは14人の参加者のデータを含み、3Dオブジェクトの360度ビデオが特徴である。
我々は,脳の3次元視覚情報をfMRI信号から復号化するための,新規で効果的な3段階フレームワークMinD-3Dを提案する。
論文 参考訳（メタデータ） (2023-12-12T18:21:36Z) - PonderV2: Pave the Way for 3D Foundation Model with A Universal
Pre-training Paradigm [114.47216525866435]
本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。
PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
論文 参考訳（メタデータ） (2023-10-12T17:59:57Z) - Deep Generative Models on 3D Representations: A Survey [81.73385191402419]
生成モデルは、新しいインスタンスを生成することによって観測データの分布を学習することを目的としている。
最近、研究者は焦点を2Dから3Dにシフトし始めた。
3Dデータの表現は、非常に大きな課題をもたらします。
論文 参考訳（メタデータ） (2022-10-27T17:59:50Z) - Advancing 3D Medical Image Analysis with Variable Dimension Transform
based Supervised 3D Pre-training [45.90045513731704]
本稿では,革新的でシンプルな3Dネットワーク事前学習フレームワークを再考する。
再設計された3Dネットワークアーキテクチャにより、データ不足の問題に対処するために、修正された自然画像が使用される。
4つのベンチマークデータセットに関する総合的な実験により、提案した事前学習モデルが収束を効果的に加速できることが示されている。
論文 参考訳（メタデータ） (2022-01-05T03:11:21Z) - CAN3D: Fast 3D Medical Image Segmentation via Compact Context
Aggregation [6.188937569449575]
本稿では,メモリフットプリントの浅いコンパクト畳み込みニューラルネットワークを提案する。
提案するネットワークは,パッチを必要とせず,大規模な3次元入力ボリュームを直接処理することでデータの整合性を維持することができる。
論文 参考訳（メタデータ） (2021-09-12T06:27:59Z) - Medical Transformer: Universal Brain Encoder for 3D MRI Analysis [1.6287500717172143]
既存の3Dベースの手法は、トレーニング済みのモデルを下流のタスクに転送している。
彼らは3D医療イメージングのためのモデルを訓練するために大量のパラメータを要求します。
本稿では,2次元画像スライス形式で3次元容積画像を効果的にモデル化する,メディカルトランスフォーマーと呼ばれる新しい伝達学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-28T08:34:21Z) - Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。
我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。
我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
論文 参考訳（メタデータ） (2020-08-16T13:38:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。