論文の概要: nnInteractive: Redefining 3D Promptable Segmentation

• arxiv url: http://arxiv.org/abs/2503.08373v1
• Date: Tue, 11 Mar 2025 12:30:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:42:47.831538
• Title: nnInteractive: Redefining 3D Promptable Segmentation
• Title（参考訳）: nnInteractive: 3Dプロンプタブルセグメンテーションを再定義
• Authors: Fabian Isensee, Maximilian Rokuss, Lars Krämer, Stefan Dinkelacker, Ashis Ravindran, Florian Stritzke, Benjamin Hamm, Tassilo Wald, Moritz Langenberg, Constantin Ulrich, Jonathan Deissler, Ralf Floca, Klaus Maier-Hein,
• Abstract要約: 我々は,最初の包括的3次元対話型オープンセットセグメンテーション手法であるnnInteractiveを紹介する。 多様なプロンプト、スクリブル、ボックス、そして、直感的な2Dインタラクションを活用して完全な3Dセグメンテーションを生成する新しいラッソのプロンプトをサポートする。 nnInteractiveは、正確性、適応性、ユーザビリティの新たな最先端を設定できる。
• 参考スコア（独自算出の注目度）: 0.461929066711062
• License:
• Abstract: Accurate and efficient 3D segmentation is essential for both clinical and research applications. While foundation models like SAM have revolutionized interactive segmentation, their 2D design and domain shift limitations make them ill-suited for 3D medical images. Current adaptations address some of these challenges but remain limited, either lacking volumetric awareness, offering restricted interactivity, or supporting only a small set of structures and modalities. Usability also remains a challenge, as current tools are rarely integrated into established imaging platforms and often rely on cumbersome web-based interfaces with restricted functionality. We introduce nnInteractive, the first comprehensive 3D interactive open-set segmentation method. It supports diverse prompts-including points, scribbles, boxes, and a novel lasso prompt-while leveraging intuitive 2D interactions to generate full 3D segmentations. Trained on 120+ diverse volumetric 3D datasets (CT, MRI, PET, 3D Microscopy, etc.), nnInteractive sets a new state-of-the-art in accuracy, adaptability, and usability. Crucially, it is the first method integrated into widely used image viewers (e.g., Napari, MITK), ensuring broad accessibility for real-world clinical and research applications. Extensive benchmarking demonstrates that nnInteractive far surpasses existing methods, setting a new standard for AI-driven interactive 3D segmentation. nnInteractive is publicly available: https://github.com/MIC-DKFZ/napari-nninteractive (Napari plugin), https://www.mitk.org/MITK-nnInteractive (MITK integration), https://github.com/MIC-DKFZ/nnInteractive (Python backend).
• Abstract（参考訳）: 正確な3Dセグメンテーションは臨床と研究の両方に不可欠である。 SAMのような基礎モデルは、インタラクティブなセグメンテーションに革命をもたらしたが、彼らの2Dデザインとドメインシフトの制限は、3D医療画像に不適当である。 現在の適応はこれらの課題のいくつかに対処するが、量的認識の欠如、限定的な相互作用を提供するか、あるいは少数の構造とモダリティのみをサポートするか、制限されている。 既存のツールが既存のイメージングプラットフォームに統合されることはめったになく、機能制限のあるWebベースのインターフェースに依存しているため、ユーザビリティも依然として課題である。 我々は,最初の包括的3次元対話型オープンセットセグメンテーション手法であるnnInteractiveを紹介する。 多様なプロンプト、スクリブル、ボックス、そして、直感的な2Dインタラクションを活用して完全な3Dセグメンテーションを生成する新しいラッソのプロンプトをサポートする。 120以上の多種多様な3Dデータセット(CT、MRI、PET、三次元顕微鏡など)でトレーニングされたnnInteractiveは、正確性、適応性、ユーザビリティの新たな最先端を設定できる。 重要なことに、これは広く使われているイメージビューア(例えば、Napari、MITK)に統合された最初の方法であり、現実の臨床および研究の応用に対して幅広いアクセシビリティを確保する。 大規模なベンチマークでは、nnInteractiveが既存のメソッドをはるかに上回り、AI駆動のインタラクティブな3Dセグメンテーションの新しい標準が設定されている。 https://github.com/MIC-DKFZ/napari-nninteractive (Napari plugin), https://www.mitk.org/MITK-nnInteractive (MITK Integration), https://github.com/MIC-DKFZ/nnInteractive (Python backend)。

関連論文リスト

• RadioActive: 3D Radiological Interactive Segmentation Benchmark [1.1095764130645482]
  臨床シナリオにおける対話的セグメンテーション手法を評価するために,RadioActiveベンチマークを導入する。 多様なデータセット、ターゲット構造、インタラクティブなセグメンテーションメソッドを含む。 ドメインギャップにもかかわらず、スライス的に誘導されるアプローチのパフォーマンスがネイティブな3Dメソッドと一致できることが、驚くほど示されている。
  論文  参考訳（メタデータ） (2024-11-12T15:47:17Z)
• Grounding 3D Scene Affordance From Egocentric Interactions [52.5827242925951]
  接地型3Dシーンアベイランスは、3D環境におけるインタラクティブな領域を見つけることを目的としている。 我々は,エゴセントリックなインタラクションから3Dシーンの空き時間を確保するという,新しい課題を紹介した。
  論文  参考訳（メタデータ） (2024-09-29T10:46:19Z)
• View-Consistent Hierarchical 3D Segmentation Using Ultrametric Feature Fields [52.08335264414515]
  我々は3次元シーンを表すニューラル・レージアンス・フィールド(NeRF)内の新しい特徴場を学習する。 本手法は、ビュー一貫性の多粒性2Dセグメンテーションを入力とし、3D一貫性のセグメンテーションの階層構造を出力として生成する。 提案手法と,多視点画像と多粒性セグメンテーションを用いた合成データセットのベースラインの評価を行い,精度と視点整合性を向上したことを示す。
  論文  参考訳（メタデータ） (2024-05-30T04:14:58Z)
• Reasoning3D -- Grounding and Reasoning in 3D: Fine-Grained Zero-Shot Open-Vocabulary 3D Reasoning Part Segmentation via Large Vision-Language Models [20.277479473218513]
  オブジェクトの検索とローカライズのためのZero-Shot 3D Reasoningを提案する。 複雑なコマンドを理解し実行するためのシンプルなベースラインメソッドReasoning3Dを設計する。 Reasoning3Dは、暗黙のテキストクエリに基づいて、3Dオブジェクトの一部を効果的にローカライズし、ハイライトすることができることを示す。
  論文  参考訳（メタデータ） (2024-05-29T17:56:07Z)
• iSeg: Interactive 3D Segmentation via Interactive Attention [14.036050263210182]
  iSegは3次元形状を分割するインタラクティブな手法である。 異なる数や種類のクリックを処理できる対話型アテンションモジュールを提案する。 我々は、iSegを異なるドメインからの無数の形状に適用し、その汎用性とユーザ仕様への忠実性を示す。
  論文  参考訳（メタデータ） (2024-04-04T05:54:19Z)
• SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
  新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。 我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。 ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2023-12-17T09:05:47Z)
• ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic Reconstruction [62.599588577671796]
  本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。 オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
  論文  参考訳（メタデータ） (2023-11-29T20:30:18Z)
• Four Ways to Improve Verbo-visual Fusion for Dense 3D Visual Grounding [56.00186960144545]
  3Dビジュアルグラウンドティング(3D visual grounding)は、自然言語で記述された3Dシーンでオブジェクトをローカライズするタスクである。 そこで本研究では,高密度な3次元グラウンドネットワークを提案し,グラウンド性能向上を目的とした4つの新しいスタンドアローンモジュールを提案する。
  論文  参考訳（メタデータ） (2023-09-08T19:27:01Z)
• UniTR: A Unified and Efficient Multi-Modal Transformer for Bird's-Eye-View Representation [113.35352122662752]
  屋外3次元知覚のためのマルチモーダルバックボーンUniTRを提案する。 UniTRは、統一されたモデリングと共有パラメータで様々なモダリティを処理する。 UniTRは基本的にタスクに依存しないバックボーンであり、異なる3D知覚タスクを自然にサポートする。
  論文  参考訳（メタデータ） (2023-08-15T12:13:44Z)
• Interactive Object Segmentation in 3D Point Clouds [27.88495480980352]
  本稿では,ユーザが直接3Dポイントクラウドと対話する対話型3Dオブジェクトセグメンテーション手法を提案する。 私たちのモデルは、ターゲットドメインからのトレーニングデータを必要としない。 異なるデータ特性と異なるオブジェクトクラスを持つ他のいくつかのデータセットでうまく機能する。
  論文  参考訳（メタデータ） (2022-04-14T18:31:59Z)
• Sparse-to-dense Feature Matching: Intra and Inter domain Cross-modal Learning in Domain Adaptation for 3D Semantic Segmentation [46.110739803985076]
  ドメイン適応のための多モード情報相互作用の十分性を高めるために,動的スパース・ツー・ディエンス・クロスモーダル学習(DsCML)を提案する。 ドメイン間クロスモーダル学習では,2次元および3次元データ上でのクロスモーダル適応学習(CMAL)をさらに進める。 本研究では,日中・日中・日中・日中・データセットなど,多目的領域適応設定によるモデルの評価を行った。
  論文  参考訳（メタデータ） (2021-07-30T15:55:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。